Anthropic: su ley de seguridad de IA fija un umbral de 50 muertes para frenar modelos

Anthropic ha presentado a legisladores de EE. UU. un borrador de ley federal de seguridad de la IA que solo permitiría al Gobierno bloquear un modelo de IA potente en casos muy limitados. El modelo tendría que suponer un riesgo previsible e inminente de matar a más de 50 personas o de causar más de 1.000 millones de dólares en daños. Incluso entonces, solo un juez federal podría ordenar detenerlo. El borrador importa porque es un laboratorio líder de IA el que redacta las reglas que quiere para su propio sector.

Qué haría el borrador de ley

Politico informó primero sobre el borrador, y Anthropic lo confirmó. La crónica de TechCrunch explica cómo funcionaría.

Parte de la ley	Qué dice
A quién se aplica	Los modelos de IA más potentes, a menudo llamados modelos de frontera
Cuándo se puede bloquear un modelo	Un riesgo previsible e inminente para más de 50 vidas o más de 1.000 millones de dólares en daños
Qué riesgos cuentan	Un arma biológica, un modelo que evade los controles de su desarrollador o un ciberataque
Quién revisa los modelos	Evaluadores independientes registrados en el Departamento de Comercio
Plazo para informar de un riesgo	72 horas después de que un evaluador detecte un riesgo catastrófico inminente
Quién puede detener un lanzamiento	Solo un juez federal en Washington D. C., a petición del Departamento de Comercio

Los medios formulan el umbral humano de forma algo distinta. TechCrunch habla de más de 50 personas en riesgo de morir. Insurance Journal habla de matar o herir a más de 50 personas. Truthout habla de 50 personas muertas o gravemente heridas.

Cómo se detendría realmente un modelo

La ley establece una cadena de varios pasos. Primero, los fabricantes de IA probarían sus modelos y compartirían los resultados públicamente, informa Insurance Journal. Evaluadores independientes también revisarían los modelos.

Si un evaluador detecta un riesgo catastrófico inminente, tiene 72 horas para avisar al Departamento de Comercio. El Departamento tiene entonces que pedir a un juez que detenga el lanzamiento. A las agencias federales se les prohibiría expresamente detener un lanzamiento por su cuenta, según TechCrunch.

Ese último punto es el núcleo de las críticas. TechCrunch señala que el borrador parece añadir protección, pero en realidad prohíbe a las agencias bloquear un lanzamiento sin el permiso de un juez. Truthout afirma que solo decidirían los jueces federales del Distrito de Columbia.

Quién paga a los evaluadores

Los laboratorios de IA podrían pagar a los evaluadores que revisan sus propios modelos. La condición es que el pago no dependa del resultado de la evaluación. TechCrunch dice que «no está claro» cómo funcionaría eso en la práctica. Truthout califica el acuerdo de conflicto de intereses.

Anthropic ha estado probando la revisión externa en sí misma. La semana pasada dio a seis evaluadores del grupo de investigación METR acceso de nivel de empleado a sus sistemas.

Qué dice Anthropic

Un portavoz de Anthropic dijo que el borrador refleja el Advanced AI Framework de la empresa. La compañía lo ha estado «defendiendo ante legisladores federales y estatales desde junio», dijo el portavoz, según citan Insurance Journal y Truthout. «Son políticas sensatas sobre las que creemos que el Congreso debería actuar», añadía el comunicado.

Anthropic no quiso decir con qué amplitud ha compartido el borrador ni cómo lo recibieron los legisladores, informa Insurance Journal. Ningún legislador lo ha presentado, y no tiene número de proyecto de ley. TechCrunch señala que los umbrales se parecen a los de la Senate Bill 53 de California, una ley estatal de seguridad de la IA.

El camino político es empinado. El Gobierno de Trump ha rechazado hasta ahora las peticiones de más supervisión de la IA, según Insurance Journal. Otros líderes del sector quieren enfoques distintos. Demis Hassabis, de Google DeepMind, ha sugerido un organismo autorregulado inspirado en FINRA, el regulador del sector financiero. Jensen Huang, de Nvidia, ha argumentado que el sector de la IA no necesita nuevas leyes, informa TechCrunch.

Qué significa esto para los desarrolladores

La mayoría de los desarrolladores nunca lanzará un modelo al que se aplique esta ley. Aun así, sus efectos llegarían a cualquiera que construya sobre modelos de frontera.

• Espera más resultados de pruebas publicados. El borrador exige a los laboratorios probar los modelos y compartir los resultados. Esos informes serían una fuente para elegir un modelo, junto a los benchmarks.
• Un lanzamiento podría pausarse, pero rara vez. El listón es alto y un tribunal debe actuar. Los equipos que dependen del próximo modelo de un solo proveedor deberían prever retrasos de todos modos.
• Vigila las reglas sobre los evaluadores. Quién paga a los evaluadores, y cómo, decide si se puede confiar en sus informes. Ese es el detalle que hay que seguir si se presenta la ley.
• Sigue también la legislación estatal. La Senate Bill 53 de California ya fija umbrales similares. Una ley federal podría sumarse a ella, así que los equipos de cumplimiento podrían tener que atender ambas.