Anthropic : son projet de loi sur la sécurité de l'IA fixe à 50 morts le seuil d'arrêt

Anthropic a présenté à des élus américains un projet de loi fédérale sur la sécurité de l'IA qui ne permettrait au gouvernement de bloquer un modèle d'IA puissant que dans des cas très limités. Le modèle devrait présenter un risque prévisible et imminent de tuer plus de 50 personnes ou de causer plus de 1 milliard de dollars de dégâts. Même dans ce cas, seul un juge fédéral pourrait ordonner son arrêt. Ce projet compte, car c'est un grand laboratoire d'IA qui rédige les règles qu'il souhaite pour son propre secteur.

Ce que prévoit le projet de loi

Politico a révélé le projet en premier, et Anthropic l'a confirmé. L'article de TechCrunch explique comment il fonctionnerait.

Volet du projet	Ce qu'il prévoit
Qui est concerné	Les modèles d'IA les plus puissants, souvent appelés modèles de pointe (frontier models)
Quand un modèle peut être bloqué	Un risque prévisible et imminent pour plus de 50 vies ou plus de 1 milliard de dollars de dégâts
Quels risques comptent	Une arme biologique, un modèle qui échappe au contrôle de son développeur, ou une cyberattaque
Qui contrôle les modèles	Des évaluateurs indépendants enregistrés auprès du ministère du Commerce (Commerce Department)
Délai pour signaler un risque	72 heures après qu'un évaluateur a détecté un risque catastrophique imminent
Qui peut stopper une sortie	Seulement un juge fédéral à Washington, D.C., à la demande du ministère du Commerce

Les médias formulent le seuil humain un peu différemment. TechCrunch parle de plus de 50 personnes risquant de mourir. Insurance Journal parle de tuer ou blesser plus de 50 personnes. Truthout parle de 50 personnes tuées ou grièvement blessées.

Comment un modèle serait concrètement arrêté

Le projet met en place une chaîne en plusieurs étapes. D'abord, les fabricants d'IA testeraient leurs modèles et publieraient les résultats, rapporte Insurance Journal. Des évaluateurs indépendants examineraient aussi les modèles.

Si un évaluateur détecte un risque catastrophique imminent, il dispose de 72 heures pour prévenir le ministère du Commerce. Le ministère doit ensuite demander à un juge de stopper la sortie. Les agences fédérales auraient expressément l'interdiction de bloquer une sortie de leur propre chef, selon TechCrunch.

Ce dernier point est au cœur des critiques. TechCrunch note que le projet semble ajouter une protection, mais qu'il interdit en réalité aux agences de bloquer une sortie sans l'autorisation d'un juge. Selon Truthout, seuls les juges fédéraux du district de Columbia trancheraient.

Qui paie les évaluateurs

Les laboratoires d'IA pourraient payer les évaluateurs qui contrôlent leurs propres modèles. La condition est que le paiement ne dépende pas du résultat de l'évaluation. Selon TechCrunch, la façon dont cela fonctionnerait en pratique n'est « pas claire ». Truthout qualifie ce dispositif de conflit d'intérêts.

Anthropic teste déjà l'examen externe sur elle-même. La semaine dernière, l'entreprise a donné à six évaluateurs du groupe de recherche METR un accès de niveau employé à ses systèmes.

Ce que dit Anthropic

Un porte-parole d'Anthropic a déclaré que le projet reflète l'Advanced AI Framework de l'entreprise. L'entreprise le « défend auprès des élus fédéraux et des États depuis juin », a précisé le porte-parole, cité par Insurance Journal et Truthout. « Ce sont des mesures de bon sens sur lesquelles le Congrès devrait selon nous agir », ajoute la déclaration.

Anthropic n'a pas voulu dire à quel point elle a diffusé le projet ni comment les élus l'ont accueilli, rapporte Insurance Journal. Aucun élu ne l'a déposé, et il n'a pas de numéro de projet de loi. TechCrunch note que les seuils ressemblent à ceux du Senate Bill 53 de Californie, une loi de l'État sur la sécurité de l'IA.

La route politique s'annonce difficile. Le gouvernement Trump a jusqu'ici rejeté les appels à davantage de surveillance de l'IA, selon Insurance Journal. D'autres dirigeants du secteur veulent des approches différentes. Demis Hassabis, de Google DeepMind, a suggéré un organisme autorégulé sur le modèle de la FINRA, le régulateur du secteur financier. Jensen Huang, de Nvidia, a soutenu que le secteur de l'IA n'a besoin d'aucune nouvelle loi, rapporte TechCrunch.

Ce que cela signifie pour les développeurs

La plupart des développeurs ne publieront jamais un modèle couvert par ce projet de loi. Ses effets toucheraient pourtant tous ceux qui construisent sur des modèles de pointe.

• Attendez-vous à davantage de résultats de tests publiés. Le projet oblige les laboratoires à tester les modèles et à partager les résultats. Ces rapports deviendraient une source pour choisir un modèle, aux côtés des benchmarks.
• Une sortie pourrait être suspendue, mais rarement. Le seuil est élevé et un tribunal doit intervenir. Les équipes qui dépendent du prochain modèle d'un seul fournisseur devraient tout de même prévoir des retards.
• Surveillez les règles sur les évaluateurs. Qui paie les évaluateurs, et comment, détermine si l'on peut se fier à leurs rapports. C'est le point à suivre si le projet de loi est déposé.
• Suivez aussi le droit des États. Le Senate Bill 53 de Californie fixe déjà des seuils similaires. Une loi fédérale pourrait s'y superposer, et les équipes de conformité pourraient devoir respecter les deux.