Asyl-KI des britischen Home Office fiel bei 22 % der Expertenprüfungen durch

Das britische Home Office, das Innenministerium des Landes, nutzt ein KI-Tool, um Asylanhörungen zusammenzufassen. Nach seiner Einführung im April 2026 fiel es bei 45 von 203 Genauigkeitsprüfungen durch Experten durch. Das sind rund 22 %, berichtet The Register unter Berufung auf Unterlagen, die die Kampagnengruppe Open Rights Group (ORG) erhalten hat. Das Tool läuft auf GPT-4o von OpenAI. Experten prüften nur rund 0,3 % der Zusammenfassungen, die es zwischen April und Juli erstellt hat. Es ist ein klarer Fall eines Sprachmodells, das dort eingesetzt wird, wo Fehler schwerwiegende Folgen haben.

Die beiden Tools

Laut der Untersuchung der ORG setzt das Home Office in der Asylbearbeitung zwei Tools mit generativer KI ein:

• Asylum Case Summarisation (ACS) macht aus Anhörungsprotokollen Zusammenfassungen für Sachbearbeiter. Es wurde ab April 2026 für alle Sachbearbeiter im Asylbereich eingeführt.
• Asylum Policy Search (APS) ist ein Chat-Tool zum Durchsuchen der länderbezogenen Leitliniendokumente der Regierung. Alle Entscheider im Asylbereich nutzen es seit Juli 2025.

Beide laufen auf GPT-4o über den Dienst Azure AI Foundry von Microsoft. Laut ORG hat sie die Tools sechs Monate lang untersucht, mit Informationsfreiheitsanfragen und Fragen an Minister.

Was die Prüfungen ergaben

Die Zahlen stammen aus unterschiedlichen Zählungen, und die Quellen bringen nicht alle in Einklang:

Messgröße	Wert	Berichtet von
Zusammenfassungen, die die erste Expertenprüfung nicht bestanden	45 von 203	The Register
Zur weiteren Prüfung markierte Zusammenfassungen	19	The Register
Prüfungen der zweiten Stufe, die den Standard verfehlten	30 von 56	The Register
Anteil der von Experten geprüften Zusammenfassungen, April bis Juli	0,3 %	ORG und The Register
Für den Zweck ungeeignete Zusammenfassungen im Pilotprojekt 2025	9 %	ORG
Für den Zweck ungeeignet in späteren Stichprobentests	15 %	ORG

Der Newsletter von Sonia Lenegan zu Einwanderungsfragen beziffert die Durchfallquote der ersten Prüfung auf 22 %. Die Quote der zweiten Prüfung liegt dort bei 54 %. Das deckt sich mit den Zahlen von The Register.

Laut The Register bestätigte das Home Office zudem im August, dass die Expertentests von APS eingestellt worden waren. Parlamentsabgeordneten hatte es gesagt, die Prüfungen würden fortgesetzt.

Was die ORG außerdem herausfand

Laut ORG verweigerte das Home Office wichtige Details. Dazu gehört, wie das Personal geschult wurde, welche Prompts die Tools verwenden und wie die Qualität getestet wird. Einige seiner Antworten widersprachen sich.

Menschen, die Asyl beantragen, erfahren nicht, wenn KI ihren Fall zusammenfasst. Laut The Register können sie die Zusammenfassungen weder einsehen noch korrigieren. Die Tools fehlen außerdem im öffentlichen Register der Regierung für algorithmische Werkzeuge.

The Register fügt hinzu, dass die durchschnittliche Zahl monatlicher Erstentscheidungen über Asylanträge seit April rund 42 % unter dem gleichen Zeitraum 2025 liegt. Die Zeit von der Anhörung bis zur Entscheidung ist um 29 % gestiegen. Das Medium weist darauf hin, dass dies nicht beweist, dass die KI-Tools eine der beiden Veränderungen verursacht haben.

Das Home Office beantwortete die Fragen von The Register nicht.

Was die ORG fordert

Die ORG fordert, beide Tools auszusetzen und ihre Genauigkeit im laufenden Einsatz unabhängig prüfen zu lassen, mit veröffentlichten Ergebnissen. Außerdem soll der Independent Chief Inspector of Borders and Immigration sie inspizieren.

„Wir fordern die Regierung auf, KI zu regulieren und ihren Einsatz bei Asylanträgen komplett zu verbieten“, sagte Sara Alsherif, Programmmanagerin bei der ORG.

Was das für Entwickler bedeutet

Für Teams, die KI-Tools zur Zusammenfassung bauen oder einkaufen:

• Mehr als einen Bruchteil prüfen. Experten prüften rund 0,3 % der Zusammenfassungen. Bei dieser Quote kann ein Problem monatelang bestehen, bevor es jemand bemerkt.
• Den Live-Einsatz messen, nicht nur das Pilotprojekt. Im Pilotprojekt waren 9 % der Zusammenfassungen ungeeignet. Spätere Prüfungen fanden höhere Fehlerquoten, als das Tool in großem Maßstab genutzt wurde.
• Menschen die Ausgabe sehen und korrigieren lassen. Antragsteller können Zusammenfassungen ihrer eigenen Anhörungen weder einsehen noch korrigieren. Jedes System, das zusammenfasst, was ein Mensch gesagt hat, sollte diesem Menschen die Prüfung ermöglichen.
• Unterlagen führen, die sich teilen lassen. Die ORG bekam weder die Prompts noch die Testergebnisse. Wer Prompts, Versionen und Evaluierungen protokolliert, macht ein Audit möglich, wenn eines verlangt wird.
• Darauf achten, was das Tool ersetzt. Die ORG warnt, dass die Zusammenfassungen eine Ebene der Expertenprüfung entfernen könnten. Wer einen Schritt automatisiert, kann die Kontrollen beseitigen, die dieser Schritt bisher geleistet hat.