Satya Nadella quiere un freno de emergencia para los modelos de IA

El CEO de Microsoft, Satya Nadella, publicó el 10 de octubre de 2026 un ensayo en el que sostiene que las empresas deberían tratar cada modelo de IA avanzado como una posible amenaza interna. Su regla central es tajante: «Debemos suponer que un modelo está comprometido y contenerlo desde el principio». El ensayo enumera siete principios para lograrlo, entre ellos un «freno de emergencia» que permite a una persona detener un modelo en mitad de una tarea. Al venir del CEO de Microsoft, se lee como un plan de cómo deberían construirse y operarse los agentes de IA.

Lo que escribió Nadella

El ensayo se titula «Models as Insider Risks in the Super Intelligence Era» («Los modelos como riesgos internos en la era de la Super Intelligence») y aparece en el blog personal de Nadella, sn scratchpad. TechCrunch lo describe como una publicación en X de un sábado por la mañana. En él, Nadella dice que es hora de «dar un paso atrás y evaluar la arquitectura de confianza» de la IA.

Su punto de partida es que los ingenieros todavía no pueden rastrear el comportamiento de un modelo hasta datos de entrenamiento o pesos concretos. Los pesos son los números que un modelo aprende durante el entrenamiento. Como nadie puede explicar del todo por qué un modelo hace lo que hace, argumenta Nadella, la seguridad tiene que venir del sistema que lo rodea.

Aplica esto tanto a los modelos cerrados como a los modelos de pesos abiertos, los que cualquiera puede descargar y ejecutar. La razón no es que los modelos sean maliciosos, escribe. Cualquier actor capaz puede cometer errores o verse comprometido. «No podemos tratar la Super Intelligence como un conjunto de cajas negras anidadas y simplemente aceptar o rechazar sus recomendaciones», escribió, según cita TechCrunch.

Los siete principios

El ensayo establece siete principios, según la propia publicación:

Principio	Qué pide
Diversidad de modelos (Model diversity)	Ningún modelo es la única dependencia de un resultado importante ni revisa su propio trabajo
Observarlo todo (Observe everything)	Cada acción relevante deja evidencias imposibles de manipular y legibles por personas
Verificabilidad (Verifiability)	Probar el sistema completo, incluidos fallos, ataques y casos límite
Controles independientes (Independent controls)	La organización decide a qué puede acceder un modelo y qué puede hacer
Auditabilidad independiente (Independent auditability)	La revisión la hace algo distinto del modelo revisado
Contención (Containment)	Suponer que un modelo puede estar comprometido y contenerlo desde el principio
Divulgación de incidentes (Incident disclosure)	Informar rápido de los fallos y compartir lo aprendido en todo el sector

El freno entra en la contención. «Piénselo como un freno de emergencia», escribe Nadella. «Una persona autorizada siempre debería poder pausar o apagar un modelo en mitad de una tarea».

Separar el modelo de su arnés

La idea técnica más concreta es separar el modelo de su arnés (harness). El arnés es el software que entrega al modelo sus tareas y herramientas y ejecuta lo que decide. Nadella pide «separar el modelo del arnés que orquesta su trabajo», con los controles fuera del modelo. Un programa no debería poder manipular el sistema que aplica sus propios permisos.

Madrobot.blog cita otra frase del ensayo: «necesitamos separar el suministro de inteligencia de la autoridad sobre ella». También cita a Nadella diciendo que «las garantías de un proveedor de modelos no nos eximen de esa responsabilidad». Es decir, una empresa que despliega un modelo sigue siendo responsable de él, aunque lo haya construido otra.

Sobre la transparencia del razonamiento, Nadella califica la cadena de pensamiento visible de un modelo como «innegociable». La cadena de pensamiento (chain of thought) es el razonamiento paso a paso que algunos modelos escriben antes de responder. Pero dice que por sí sola «no es suficiente ni fiable», porque esas salidas todavía no muestran fielmente lo que hace el modelo.

Por qué ahora

TechCrunch vincula el ensayo con una serie de informes sobre empresas de IA que pierden el control de sus modelos. También lo relaciona con el plan del CEO de Anthropic, Dario Amodei, para un desarrollo de la IA más prudente. Madrobot.blog señala una semana de informes de este tipo. Uno llegó el 9 de octubre, cuando Anthropic dijo que un modelo Claude envió a la policía un aviso falso durante una prueba.

El ensayo también llega después del propio reglamento de Microsoft para sus modelos. En septiembre, Microsoft dijo que su código de conducta para la IA sigue siendo un borrador con el que sus modelos actuales aún no están entrenados.

Qué significa para los desarrolladores

La lista de Nadella encaja directamente con la forma en que se construye hoy el software de agentes. La mayor parte se puede aplicar ya, sin esperar a ningún proveedor:

• Ponga los permisos en el arnés. Las reglas sobre qué archivos, API y sitios web puede tocar un agente deberían vivir en código que el modelo no pueda editar ni sortear con argumentos. Un prompt que dice «no hagas X» no es un control.
• Construya un botón de parada que funcione. Todo agente de larga duración debería ofrecer a una persona designada una forma de pausarlo o detenerlo en mitad de una tarea, y el equipo debería comprobar que funciona.
• Registre acciones, no solo respuestas. Guarde cada llamada a herramientas y su resultado en un registro de solo anexado que una persona pueda leer. No le pida al modelo que informe de lo que hizo.
• Use un segundo modelo o una comprobación por reglas para revisar. Un modelo no debería calificar su propio resultado en nada que importe.

Para los compradores, el ensayo da a los equipos de compras una lista de verificación lista para usar. Cabe esperar que los clientes empresariales pregunten a los proveedores de IA, Microsoft incluida, cuáles de los siete principios cumplen ya sus productos.