Microsoft ThinkingBox bewertet KI-Agenten anhand der Datenbank

Microsoft hat ThinkingBox veröffentlicht, einen Test für KI-Agenten, der ignoriert, was der Agent sagt, und prüft, was er tatsächlich verändert hat. Microsoft kündigte ihn am 3. Oktober 2026 in einem Blogbeitrag auf Hugging Face an. Sein zentrales Ergebnis sollte alle beunruhigen, die Agenten ausliefern. Von 79.853 gescheiterten Versuchen endeten 67,24 % sauber, mit gültigen Tool-Aufrufen und ohne Fehler. Die Daten darunter waren trotzdem falsch.

Wie ThinkingBox einen Agenten testet

Ein KI-Agent ist ein Modell, das über Tools Aktionen ausführt, etwa eine Bestellung aktualisiert oder eine Buchung ändert. Die meisten Tests bewerten die letzte Antwort des Agenten oder prüfen, ob seine Tool-Aufrufe korrekt aufgebaut waren. ThinkingBox schaut stattdessen in die Backend-Datenbank, nachdem die Aufgabe beendet ist.

RuntimeWire beschreibt ihn als Benchmark, bei dem die Datenbank das letzte Wort hat. Jede seiner 507 Aufgaben simuliert einen echten Geschäftsablauf. Jede Aufgabe läuft 20-mal, damit ein glücklicher Einzelerfolg nicht als zuverlässig gilt.

Laut Microsofts Beitrag decken die Aufgaben fünf Bereiche ab:

Bereich	Aufgaben
Einzelhandel	98
Kfz-Versicherung	100
Beratung (IT- und HR-Support)	101
Reisen	104
Neobank-Support	104

Die drei Werte

ThinkingBox meldet drei Zahlen pro Modell, erklärt RuntimeWire. Pass@1 ist die Erfolgschance bei einem einzigen Versuch. Pass@20 bedeutet, dass die Aufgabe in 20 Durchläufen mindestens einmal gelang. „Observed 20/20“ zählt die Aufgaben, die das Modell jedes einzelne Mal bestanden hat.

Die Lücke zwischen diesen Zahlen ist die eigentliche Geschichte. Claude Opus 5.5 lag bei pass@1 mit 67,16 % vorn, bestand aber nur bei 47,53 % der Aufgaben alle 20 Durchläufe, also bei 241. Kimi-K3 kam bei pass@1 auf 57,37 % und bestand alle 20 Durchläufe bei nur 13,41 %, also bei 68 Aufgaben.

Laut Microsofts Beitrag hielten nur drei Modelle über die 20 Versuche hinweg mehr als 70 % ihres pass@1-Werts.

Warum Agenten still scheitern

Microsoft stellte fest, dass rund vier von fünf Fehlschlägen, 79,9 %, auf den Umgang mit Tools zurückgingen und nicht auf das Schlussfolgern. Das Modell verstand die Aufgabe, rief ein Tool aber falsch auf, für den falschen Datensatz oder nur teilweise.

So kann ein Durchlauf perfekt aussehen und trotzdem falsch sein. „Die letzte Nachricht eines Agenten ist ein Beleg dafür, was er glaubt, dass passiert ist, kein Beweis dafür, was die Software tatsächlich gespeichert hat“, schreibt Remio. Remio warnt, dass falsche Bestätigungen bei Bestellungen, Abonnements oder Berechtigungen später Ärger verursachen, wenn andere Systeme darauf reagieren.

Billig pro Versuch heißt nicht billig pro Aufgabe

Microsoft hat außerdem berechnet, was Zuverlässigkeit kostet. GPT-5.6 Sol kostet 0,127 Dollar pro erfolgreichem Versuch. Pro Aufgabe gerechnet, die es zuverlässig erledigt, steigen die Kosten auf 9,76 Dollar. Ein Modell, das pro Aufruf billig ist, kann teuer werden, sobald du die Wiederholungen und die Fehlschläge bezahlst.

Was das für Entwickler bedeutet

Teste deinen Agenten so, wie ThinkingBox es tut. Frag nach jedem Testlauf die Datenbank ab und prüfe per Assertion genau die Felder, die sich hätten ändern sollen. Prüfe außerdem, dass sich sonst nichts geändert hat. Eine bestandene Antwort und saubere Tool-Logs beweisen für sich allein sehr wenig.

Führe jeden Testfall viele Male aus, nicht nur einmal. Eine Aufgabe, die einmal besteht, kann in der Produktion trotzdem oft scheitern, wie die Zahlen von Kimi-K3 zeigen. Verfolge den Anteil der Aufgaben, die jeden Durchlauf bestehen, nicht nur den Durchschnitt.

Steck deinen Aufwand in die Tool-Schicht. Wenn die meisten Fehlschläge aus dem Umgang mit Tools stammen, sind die Lösungen oft schlichte Technikarbeit. Schreib klarere Tool-Beschreibungen, nutze strengere Argumentschemas und gib Fehlermeldungen zurück, mit denen das Modell etwas anfangen kann.

Bau in der Produktion eine Prüfung außerhalb des Modells ein. Bevor du einem Nutzer mitteilst, dass sich eine Bestellung geändert hat, lies die Bestellung aus dem maßgeblichen System zurück. Remios Punkt gilt: Der eigene Bericht des Agenten ist eine Behauptung, kein Beweis.

Plane das Budget pro zuverlässig erledigter Aufgabe, nicht pro Token. Microsofts Zahlen zu GPT-5.6 Sol zeigen, dass der Preis pro Aufruf die tatsächlichen Kosten deutlich unterschätzen kann.