Anthropic: KI-Sicherheitsgesetz legt Schwelle von 50 Toten für den Stopp von Modellen fest

Anthropic hat US-Abgeordneten den Entwurf eines Bundesgesetzes zur KI-Sicherheit vorgelegt, nach dem die Regierung ein leistungsstarkes KI-Modell nur in eng begrenzten Fällen blockieren dürfte. Das Modell müsste eine vorhersehbare, unmittelbare Gefahr darstellen, mehr als 50 Menschen zu töten oder mehr als 1 Mrd. US-Dollar Schaden anzurichten. Selbst dann könnte nur ein Bundesrichter anordnen, es zu stoppen. Der Entwurf ist wichtig, weil hier ein führendes KI-Labor die Regeln schreibt, die es sich für seine eigene Branche wünscht.

Was der Gesetzentwurf vorsieht

Politico berichtete zuerst über den Entwurf, und Anthropic hat ihn bestätigt. Der Bericht von TechCrunch legt dar, wie er funktionieren würde.

Teil des Gesetzes	Was er besagt
Wen es betrifft	Die leistungsstärksten KI-Modelle, oft Frontier-Modelle genannt
Wann ein Modell blockiert werden kann	Eine vorhersehbare, unmittelbare Gefahr für mehr als 50 Menschenleben oder über 1 Mrd. US-Dollar Schaden
Welche Risiken zählen	Eine Biowaffe, ein Modell, das sich der Kontrolle seines Entwicklers entzieht, oder ein Cyberangriff
Wer die Modelle prüft	Unabhängige Prüfer, die beim Handelsministerium (Commerce Department) registriert sind
Frist für die Meldung eines Risikos	72 Stunden, nachdem ein Prüfer ein unmittelbares katastrophales Risiko feststellt
Wer eine Veröffentlichung stoppen kann	Nur ein Bundesrichter in Washington, D.C., auf Antrag des Handelsministeriums

Die Medien formulieren die Schwelle für Menschenleben etwas unterschiedlich. TechCrunch spricht von mehr als 50 Menschen, die zu sterben drohen. Insurance Journal spricht davon, mehr als 50 Menschen zu töten oder zu verletzen. Truthout spricht von 50 Getöteten oder Schwerverletzten.

Wie ein Modell tatsächlich gestoppt würde

Das Gesetz sieht eine Kette aus mehreren Schritten vor. Zuerst würden KI-Hersteller ihre Modelle testen und die Ergebnisse öffentlich machen, berichtet Insurance Journal. Auch unabhängige Prüfer würden die Modelle begutachten.

Findet ein Prüfer ein unmittelbares katastrophales Risiko, hat er 72 Stunden Zeit, das Handelsministerium zu informieren. Das Ministerium muss dann einen Richter bitten, die Veröffentlichung zu stoppen. Bundesbehörden wäre es laut TechCrunch ausdrücklich verboten, eine Veröffentlichung aus eigener Befugnis zu stoppen.

Dieser letzte Punkt ist der Kern der Kritik. TechCrunch merkt an, dass der Entwurf nach zusätzlichem Schutz aussieht, Behörden aber tatsächlich verbietet, eine Veröffentlichung ohne Erlaubnis eines Richters zu blockieren. Laut Truthout würden allein Bundesrichter im District of Columbia entscheiden.

Wer die Prüfer bezahlt

KI-Labore könnten die Prüfer bezahlen, die ihre eigenen Modelle kontrollieren. Die Bedingung ist, dass die Bezahlung nicht vom Ergebnis der Prüfung abhängen darf. TechCrunch schreibt, es sei „nicht klar“, wie das in der Praxis funktionieren würde. Truthout nennt die Regelung einen Interessenkonflikt.

Anthropic erprobt externe Prüfungen bereits an sich selbst. Vergangene Woche gewährte das Unternehmen sechs Prüfern der Forschungsgruppe METR Zugang auf Mitarbeiterebene zu seinen Systemen.

Was Anthropic sagt

Ein Sprecher von Anthropic sagte, der Entwurf spiegle das Advanced AI Framework des Unternehmens wider. Dafür habe sich das Unternehmen „seit Juni bei Abgeordneten auf Bundes- und Landesebene eingesetzt“, sagte der Sprecher, wie Insurance Journal und Truthout zitieren. „Das sind vernünftige Maßnahmen, bei denen der Kongress unserer Ansicht nach handeln sollte“, hieß es weiter in der Erklärung.

Anthropic wollte nicht sagen, wie breit es den Entwurf gestreut hat oder wie die Abgeordneten ihn aufgenommen haben, berichtet Insurance Journal. Kein Abgeordneter hat ihn eingebracht, und er hat keine Gesetzesnummer. TechCrunch merkt an, dass die Schwellen denen in Kaliforniens Senate Bill 53 ähneln, einem KI-Sicherheitsgesetz des Bundesstaates.

Der politische Weg ist steil. Die Trump-Regierung hat Forderungen nach mehr KI-Aufsicht bisher abgelehnt, so Insurance Journal. Andere Branchenführer wollen andere Ansätze. Demis Hassabis von Google DeepMind hat ein selbstverwaltetes Gremium nach dem Vorbild von FINRA vorgeschlagen, der Aufsichtsstelle der Finanzbranche. Jensen Huang von Nvidia hat argumentiert, die KI-Branche brauche keine neuen Gesetze, berichtet TechCrunch.

Was das für Entwickler bedeutet

Die meisten Entwickler werden nie ein Modell veröffentlichen, das unter dieses Gesetz fällt. Seine Folgen würden trotzdem alle erreichen, die auf Frontier-Modellen aufbauen.

• Rechnen Sie mit mehr veröffentlichten Testergebnissen. Der Entwurf verpflichtet Labore, Modelle zu testen und die Ergebnisse offenzulegen. Diese Berichte würden neben Benchmarks zu einer Quelle für die Wahl eines Modells.
• Eine Veröffentlichung könnte pausiert werden, aber selten. Die Hürde ist hoch, und ein Gericht muss handeln. Teams, die vom nächsten Modell eines einzigen Anbieters abhängen, sollten trotzdem Verzögerungen einplanen.
• Achten Sie auf die Regeln für Prüfer. Wer die Prüfer bezahlt und wie, entscheidet darüber, ob man ihren Berichten trauen kann. Auf dieses Detail sollte man achten, falls das Gesetz eingebracht wird.
• Behalten Sie auch das Landesrecht im Blick. Kaliforniens Senate Bill 53 setzt bereits ähnliche Schwellen. Ein Bundesgesetz könnte darauf aufsetzen, sodass Compliance-Teams womöglich beide Regelwerke erfüllen müssen.