IA de asilo do Home Office do Reino Unido falhou em 22% das checagens de especialistas

Uma ferramenta de IA que o Home Office do Reino Unido usa para resumir entrevistas de asilo foi implantada em abril de 2026. Desde então, ela falhou em 45 de 203 checagens de precisão feitas por especialistas. Isso dá cerca de 22%, informa o The Register, com base em registros obtidos pelo grupo ativista Open Rights Group (ORG). A ferramenta roda no GPT-4o, da OpenAI. Os especialistas verificaram só cerca de 0,3% dos resumos que ela produziu entre abril e julho. É um caso claro de um modelo de linguagem usado onde os erros têm consequências graves.

As duas ferramentas

Segundo a investigação do ORG, o Home Office usa duas ferramentas de IA generativa na análise de casos de asilo:

• Asylum Case Summarisation (ACS) transforma transcrições de entrevistas em resumos para os analistas de casos. Foi disponibilizada para todos os analistas de casos de asilo a partir de abril de 2026.
• Asylum Policy Search (APS) é uma ferramenta de chat para buscar nos documentos de política por país do governo. É usada por todos os responsáveis por decisões de asilo desde julho de 2025.

Ambas rodam no GPT-4o por meio do serviço Azure AI Foundry, da Microsoft. O ORG diz que passou seis meses investigando as ferramentas por meio de pedidos de acesso à informação e de perguntas a ministros.

O que as checagens encontraram

Os números vêm de contagens diferentes, e as fontes não conciliam todos eles:

Medida	Número	Informado por
Resumos que falharam na primeira checagem de especialistas	45 de 203	The Register
Resumos sinalizados para revisão adicional	19	The Register
Revisões de segunda etapa que não atingiram o padrão	30 de 56	The Register
Parcela de resumos verificados por especialistas, de abril a julho	0,3%	ORG e The Register
Resumos inadequados para o propósito no piloto de 2025	9%	ORG
Inadequados para o propósito em testes posteriores por amostragem	15%	ORG

A newsletter sobre imigração de Sonia Lenegan coloca a taxa de falha na primeira revisão em 22%. A taxa de falha na segunda checagem fica em 54%. Esses números batem com as contagens do The Register.

O The Register também informa que o Home Office confirmou em agosto que os testes da APS feitos por especialistas tinham parado. O órgão havia dito a membros do parlamento que as checagens continuavam.

O que mais o ORG encontrou

O ORG diz que o Home Office se recusou a compartilhar detalhes importantes. Entre eles estão como a equipe foi treinada, quais prompts as ferramentas usam e como a qualidade é testada. Algumas de suas respostas se contradiziam.

Quem pede asilo não é informado quando a IA resume seu caso. O The Register informa que essas pessoas não podem examinar nem corrigir os resumos. As ferramentas também não constam do registro público de ferramentas algorítmicas do governo.

O The Register acrescenta que a média mensal de decisões iniciais de asilo desde abril caiu cerca de 42% em relação ao mesmo período de 2025. O tempo entre a entrevista e a decisão subiu 29%. O veículo observa que isso não prova que as ferramentas de IA causaram nenhuma das duas mudanças.

O Home Office não respondeu às perguntas do The Register.

O que o ORG quer

O ORG pede que as duas ferramentas sejam suspensas. Pede também uma auditoria independente de sua precisão no uso real, com os resultados publicados. O grupo quer ainda que o Inspetor-Chefe Independente de Fronteiras e Imigração as inspecione.

“Instamos o governo a regulamentar a IA e a proibir totalmente seu uso em pedidos de asilo”, disse Sara Alsherif, gerente de programa do ORG.

O que isso significa para desenvolvedores

Para equipes que constroem ou compram ferramentas de resumo com IA:

• Verifique mais do que uma fração mínima. Os especialistas revisaram cerca de 0,3% dos resumos. Nesse ritmo, um problema pode durar meses antes que alguém o perceba.
• Meça o uso real, não só o piloto. O piloto encontrou 9% dos resumos inadequados. Checagens posteriores encontraram taxas de falha maiores quando a ferramenta passou a ser usada em escala.
• Deixe as pessoas verem e corrigirem o resultado. Os requerentes não podem examinar nem corrigir os resumos de suas próprias entrevistas. Qualquer sistema que resume o que uma pessoa disse deveria permitir que essa pessoa o verifique.
• Mantenha registros que você possa compartilhar. O ORG não conseguiu obter os prompts nem os resultados dos testes. Registrar prompts, versões e avaliações torna uma auditoria possível quando ela for exigida.
• Observe o que a ferramenta substitui. O ORG alerta que os resumos podem eliminar uma camada de revisão por especialistas. Automatizar uma etapa pode eliminar as checagens que essa etapa costumava oferecer.