英国Home Officeの難民申請AI、専門家チェックの22%で不合格

英国のHome Office（内務省）は、難民申請の面接を要約するためにAIツールを使っています。このツールは2026年4月に導入された後、専門家による正確性チェック203件のうち45件で不合格になりました。The Registerによると、これは約22%にあたります。同メディアの報道は、キャンペーン団体Open Rights Group（ORG）が入手した記録に基づいています。このツールは、OpenAIのGPT-4oで動いています。4月から7月までにツールが作成した要約のうち、専門家がチェックしたのは約0.3%だけでした。間違いが深刻な結果を招く場面で言語モデルが使われた、はっきりした事例です。

2つのツール

ORGの調査によると、Home Officeは難民申請の審査業務で2つの生成AIツールを使っています。

• Asylum Case Summarisation（ACS）は、面接の書き起こしを審査担当者向けの要約に変換します。2026年4月から、すべての難民申請の審査担当者に導入されました。
• Asylum Policy Search（APS）は、政府の国別方針文書を検索するためのチャットツールです。2025年7月から、難民申請の判断を行うすべての担当者が使っています。

どちらも、MicrosoftのAzure AI Foundryサービスを通じてGPT-4oで動いています。ORGによると、同団体は情報公開請求と閣僚への質問を通じて、6か月かけてこれらのツールを調査しました。

チェックで判明したこと

数値はそれぞれ異なる集計から来ており、情報源はそのすべてを整合させてはいません。

指標	数値	報じた媒体
最初の専門家チェックで不合格になった要約	203件中45件	The Register
さらなるレビューの対象とされた要約	19件	The Register
基準を満たさなかった第2段階のレビュー	56件中30件	The Register
4月から7月に専門家がチェックした要約の割合	0.3%	ORGとThe Register
2025年の試験運用で目的に適さなかった要約	9%	ORG
その後のサンプル検証で目的に適さなかったもの	15%	ORG

Sonia Lenegan氏による移民問題のニュースレターは、最初のレビューでの不合格率を22%、2回目のチェックでの不合格率を54%としています。これらは、The Registerの集計と一致します。

The Registerはまた、Home Officeが8月に、APSの専門家によるテストを停止したと認めたと報じています。Home Officeは国会議員に対し、チェックは続いていると説明していました。

ORGがほかに見つけたこと

ORGによると、Home Officeは重要な詳細の共有を拒みました。その中には、職員の研修方法、ツールが使うプロンプト、品質のテスト方法が含まれます。回答の一部は、互いに矛盾していました。

難民申請者は、AIが自分の案件を要約していることを知らされません。The Registerによると、申請者は要約を確認することも、修正することもできません。これらのツールは、政府が公開しているアルゴリズムツールの登録簿にも載っていません。

The Registerはさらに、4月以降の難民申請の初回判断の月平均件数が、2025年の同時期と比べて約42%減っていると報じています。面接から判断までの期間は29%長くなっています。同メディアは、これがAIツールによってどちらかの変化が起きたことの証明にはならないと指摘しています。

Home Officeは、The Registerの質問に回答しませんでした。

ORGの要求

ORGは、両方のツールの運用停止と、実運用での正確性に関する独立した監査、そしてその結果の公表を求めています。また、国境・移民独立主任監察官（Independent Chief Inspector of Borders and Immigration）による両ツールの検査も求めています。

「政府に対し、AIを規制し、難民申請での使用を全面的に禁止するよう強く求めます」と、ORGのプログラムマネージャーであるSara Alsherif氏は述べました。

開発者にとっての意味

AIによる要約ツールを開発または購入するチームに向けて、次の点を挙げます。

• ごく一部だけでなく、もっと多くをチェックすること。 専門家がレビューしたのは、要約の約0.3%でした。この割合では、問題が誰にも気づかれないまま何か月も続く可能性があります。
• 試験運用だけでなく、実運用を測定すること。 試験運用では、要約の9%が不適切とされました。その後のチェックでは、ツールが大規模に使われるようになってから、より高い不合格率が見つかりました。
• 人が出力を確認し、修正できるようにすること。 申請者は、自分の面接の要約を確認することも、修正することもできません。人の発言を要約するシステムは、その本人が内容を確認できるようにすべきです。
• 共有できる記録を残すこと。 ORGは、プロンプトやテスト結果を入手できませんでした。プロンプト、バージョン、評価を記録しておけば、監査を求められたときに実施できます。
• ツールが何を置き換えるのかに注意すること。 ORGは、この要約によって専門家によるレビューの層が1つなくなるおそれがあると警告しています。ある工程を自動化すると、その工程が担っていたチェックがなくなることがあります。