Anthropic: lei de segurança de IA fixa limite de 50 mortes para barrar modelos

A Anthropic apresentou a legisladores dos EUA um rascunho de lei federal de segurança de IA que só permitiria ao governo bloquear um modelo de IA poderoso em casos restritos. O modelo teria de representar um risco previsível e iminente de matar mais de 50 pessoas ou de causar mais de US$ 1 bilhão em danos. Mesmo assim, só um juiz federal poderia mandar suspendê-lo. O rascunho importa porque é um laboratório líder de IA escrevendo as regras que quer para o próprio setor.

O que o rascunho de lei faria

O Politico noticiou o rascunho primeiro, e a Anthropic o confirmou. O relato do TechCrunch explica como ele funcionaria.

Parte da lei	O que ela diz
Quem ela abrange	Os modelos de IA mais poderosos, muitas vezes chamados de modelos de fronteira
Quando um modelo pode ser bloqueado	Um risco previsível e iminente a mais de 50 vidas ou mais de US$ 1 bilhão em danos
Quais riscos contam	Uma arma biológica, um modelo que escapa dos controles de seu desenvolvedor ou um ataque cibernético
Quem verifica os modelos	Avaliadores independentes registrados no Departamento de Comércio
Prazo para relatar um risco	72 horas depois que um avaliador encontra um risco catastrófico iminente
Quem pode suspender um lançamento	Apenas um juiz federal em Washington, D.C., a pedido do Departamento de Comércio

Os veículos descrevem o limite humano de forma um pouco diferente. O TechCrunch fala em mais de 50 pessoas em risco de morrer. O Insurance Journal fala em matar ou ferir mais de 50 pessoas. O Truthout fala em 50 pessoas mortas ou gravemente feridas.

Como um modelo seria de fato barrado

O projeto cria uma cadeia com várias etapas. Primeiro, os fabricantes de IA testariam seus modelos e divulgariam os resultados publicamente, segundo o Insurance Journal. Avaliadores independentes também revisariam os modelos.

Se um avaliador encontrar um risco catastrófico iminente, terá 72 horas para avisar o Departamento de Comércio. O departamento então precisa pedir a um juiz que suspenda o lançamento. Órgãos federais seriam expressamente proibidos de suspender um lançamento por conta própria, segundo o TechCrunch.

Esse último ponto é o centro das críticas. O TechCrunch observa que o rascunho parece adicionar proteção, mas na verdade proíbe os órgãos de bloquear um lançamento sem a permissão de um juiz. O Truthout diz que só juízes federais do Distrito de Colúmbia decidiriam.

Quem paga os avaliadores

Os laboratórios de IA poderiam pagar os avaliadores que verificam seus próprios modelos. A condição é que o pagamento não dependa do resultado da avaliação. O TechCrunch diz que “não está claro” como isso funcionaria na prática. O Truthout chama o arranjo de conflito de interesses.

A Anthropic vem testando a revisão externa em si mesma. Na semana passada, deu a seis avaliadores do grupo de pesquisa METR acesso equivalente ao de funcionários aos seus sistemas.

O que a Anthropic diz

Um porta-voz da Anthropic disse que o rascunho reflete o Advanced AI Framework da empresa. A empresa vem “defendendo junto a legisladores federais e estaduais desde junho”, disse o porta-voz, conforme citado pelo Insurance Journal e pelo Truthout. “São políticas sensatas sobre as quais acreditamos que o Congresso deve agir”, acrescentou o comunicado.

A Anthropic não quis dizer com que amplitude compartilhou o rascunho nem como os legisladores o receberam, segundo o Insurance Journal. Nenhum legislador o apresentou, e ele não tem número de projeto de lei. O TechCrunch observa que os limites se parecem com os do Senate Bill 53 da Califórnia, uma lei estadual de segurança de IA.

O caminho político é íngreme. O governo Trump tem rejeitado até agora pedidos de mais supervisão da IA, segundo o Insurance Journal. Outros líderes do setor querem abordagens diferentes. Demis Hassabis, do Google DeepMind, sugeriu um órgão autorregulado nos moldes da FINRA, a reguladora do setor financeiro. Jensen Huang, da Nvidia, argumentou que o setor de IA não precisa de novas leis, segundo o TechCrunch.

O que isso significa para desenvolvedores

A maioria dos desenvolvedores nunca vai lançar um modelo coberto por esta lei. Ainda assim, seus efeitos chegariam a qualquer um que construa sobre modelos de fronteira.

• Espere mais resultados de testes publicados. O rascunho exige que os laboratórios testem os modelos e compartilhem os resultados. Esses relatórios se tornariam uma fonte para escolher um modelo, ao lado dos benchmarks.
• Um lançamento poderia ser pausado, mas raramente. O limite é alto e um tribunal precisa agir. Equipes que dependem do próximo modelo de um único fornecedor ainda devem se planejar para atrasos.
• Acompanhe as regras dos avaliadores. Quem paga os avaliadores, e como, decide se os relatórios deles merecem confiança. É esse o detalhe a seguir se o projeto for apresentado.
• Acompanhe também a lei estadual. O Senate Bill 53 da Califórnia já define limites semelhantes. Uma lei federal poderia se somar a ele, então as equipes de compliance podem ter de atender aos dois.