L'IA d'asile du Home Office britannique a échoué à 22 % des contrôles d'experts

Un outil d'IA que le Home Office britannique utilise pour résumer les entretiens d'asile a échoué à 45 des 203 contrôles de précision effectués par des experts après son déploiement en avril 2026. Cela représente environ 22 %, rapporte The Register, sur la base de documents obtenus par le groupe militant Open Rights Group (ORG). L'outil fonctionne avec GPT-4o d'OpenAI. Les experts n'ont vérifié qu'environ 0,3 % des résumés qu'il a produits entre avril et juillet. C'est un cas clair de modèle de langage déployé là où les erreurs ont de lourdes conséquences.

Les deux outils

Selon l'enquête d'ORG, le Home Office utilise deux outils d'IA générative dans le traitement des dossiers d'asile :

• Asylum Case Summarisation (ACS) transforme les transcriptions d'entretiens en résumés pour les agents chargés des dossiers. Il a été déployé auprès de tous les agents chargés des dossiers d'asile à partir d'avril 2026.
• Asylum Policy Search (APS) est un outil de chat qui permet de chercher dans les documents de politique par pays du gouvernement. Il est utilisé par tous les décideurs en matière d'asile depuis juillet 2025.

Les deux fonctionnent avec GPT-4o via le service Azure AI Foundry de Microsoft. ORG indique avoir enquêté sur ces outils pendant six mois, au moyen de demandes d'accès à l'information et de questions aux ministres.

Ce que les contrôles ont révélé

Les chiffres proviennent de décomptes différents, et les sources ne les concilient pas tous :

Mesure	Chiffre	Rapporté par
Résumés ayant échoué à leur premier contrôle d'expert	45 sur 203	The Register
Résumés signalés pour un examen complémentaire	19	The Register
Examens de second niveau ne respectant pas la norme	30 sur 56	The Register
Part des résumés vérifiés par des experts, d'avril à juillet	0,3 %	ORG et The Register
Résumés inadaptés à leur usage lors du pilote de 2025	9 %	ORG
Inadaptés à leur usage lors de tests ultérieurs sur échantillon	15 %	ORG

La newsletter sur l'immigration de Sonia Lenegan situe le taux d'échec au premier examen à 22 % et celui du second contrôle à 54 %. Ces chiffres correspondent aux décomptes de The Register.

The Register rapporte aussi que le Home Office a confirmé en août que les tests d'APS par des experts avaient cessé. Il avait dit à des membres du Parlement que les contrôles se poursuivaient.

Ce qu'ORG a découvert d'autre

ORG affirme que le Home Office a refusé de communiquer des informations clés. Il s'agit notamment de la formation du personnel, des prompts utilisés par les outils et de la manière dont la qualité est testée. Certaines de ses réponses se contredisaient.

Les demandeurs d'asile ne sont pas informés quand l'IA résume leur dossier. The Register rapporte qu'ils ne peuvent ni consulter ni corriger les résumés. Les outils sont aussi absents du registre public des outils algorithmiques du gouvernement.

The Register ajoute que la moyenne mensuelle des décisions initiales d'asile depuis avril est en baisse d'environ 42 % par rapport à la même période de 2025. Le délai entre l'entretien et la décision a augmenté de 29 %. Le média note que cela ne prouve pas que les outils d'IA soient à l'origine de l'un ou l'autre de ces changements.

Le Home Office n'a pas répondu aux questions de The Register.

Ce que demande ORG

ORG demande la suspension des deux outils et un audit indépendant de leur précision en usage réel, avec publication des résultats. Le groupe veut aussi que l'Independent Chief Inspector of Borders and Immigration les inspecte.

« Nous exhortons le gouvernement à réglementer l'IA et à interdire purement et simplement son utilisation dans les demandes d'asile », a déclaré Sara Alsherif, responsable de programme chez ORG.

Ce que cela signifie pour les développeurs

Pour les équipes qui conçoivent ou achètent des outils de résumé par IA :

• Vérifiez plus qu'une infime fraction. Les experts ont examiné environ 0,3 % des résumés. À ce rythme, un problème peut durer des mois avant que quelqu'un le remarque.
• Mesurez l'usage réel, pas seulement le pilote. Le pilote a jugé 9 % des résumés inadaptés. Des contrôles ultérieurs ont révélé des taux d'échec plus élevés une fois l'outil utilisé à grande échelle.
• Permettez aux personnes de voir et de corriger le résultat. Les demandeurs ne peuvent ni consulter ni corriger les résumés de leurs propres entretiens. Tout système qui résume les propos d'une personne devrait permettre à cette personne de les vérifier.
• Conservez des traces que vous pouvez partager. ORG n'a pas pu obtenir les prompts ni les résultats des tests. Journaliser les prompts, les versions et les évaluations rend un audit possible lorsqu'il est exigé.
• Surveillez ce que l'outil remplace. ORG avertit que les résumés pourraient supprimer un niveau d'examen par des experts. Automatiser une étape peut supprimer les contrôles que cette étape assurait.