Satya Nadella quer um freio de emergência para modelos de IA

O CEO da Microsoft, Satya Nadella, publicou em 10 de outubro de 2026 um ensaio em que defende que as empresas devem tratar todo modelo de IA avançado como uma possível ameaça interna. Sua regra central é direta: «Precisamos presumir que um modelo está comprometido e contê-lo desde o início». O ensaio lista sete princípios para isso, incluindo um «freio de emergência» que permite a uma pessoa parar um modelo no meio de uma tarefa. Vindo do CEO da Microsoft, o texto se lê como um projeto de como os agentes de IA devem ser construídos e operados.

O que Nadella escreveu

O ensaio se chama «Models as Insider Risks in the Super Intelligence Era» («Modelos como riscos internos na era da Super Intelligence») e aparece no blog pessoal de Nadella, sn scratchpad. O TechCrunch o descreve como uma publicação no X em uma manhã de sábado. Nele, Nadella diz que é hora de «dar um passo atrás e avaliar a arquitetura de confiança» da IA.

Seu ponto de partida é que os engenheiros ainda não conseguem rastrear o comportamento de um modelo até dados de treinamento ou pesos específicos. Pesos são os números que um modelo aprende durante o treinamento. Como ninguém consegue explicar totalmente por que um modelo faz o que faz, argumenta Nadella, a segurança precisa vir do sistema ao redor dele.

Ele aplica isso tanto a modelos fechados quanto a modelos de pesos abertos, aqueles que qualquer pessoa pode baixar e executar. O motivo não é que os modelos sejam maliciosos, escreve ele. Qualquer ator capaz pode cometer erros ou ser comprometido. «Não podemos tratar a Super Intelligence como um conjunto de caixas-pretas aninhadas e simplesmente aceitar ou rejeitar suas recomendações», escreveu ele, citado pelo TechCrunch.

Os sete princípios

O ensaio estabelece sete princípios, segundo a própria publicação:

Princípio	O que ele pede
Diversidade de modelos (Model diversity)	Nenhum modelo é a única dependência de um resultado importante nem confere o próprio trabalho
Observar tudo (Observe everything)	Toda ação relevante deixa evidências à prova de adulteração e legíveis por humanos
Verificabilidade (Verifiability)	Testar o sistema inteiro, incluindo falhas, ataques e casos extremos
Controles independentes (Independent controls)	A organização decide o que um modelo pode acessar e fazer
Auditabilidade independente (Independent auditability)	A verificação é feita por algo diferente do modelo verificado
Contenção (Containment)	Presumir que um modelo pode estar comprometido e contê-lo desde o início
Divulgação de incidentes (Incident disclosure)	Relatar falhas rapidamente e compartilhar lições em todo o setor

O freio fica sob a contenção. «Pense nisso como um freio de emergência», escreve Nadella. «Uma pessoa autorizada deve sempre poder pausar ou desligar um modelo no meio de uma tarefa».

Separar o modelo do harness

A ideia técnica mais concreta é uma separação entre o modelo e seu harness. O harness é o software que entrega ao modelo suas tarefas e ferramentas e executa o que ele decide. Nadella pede «separar o modelo do harness que orquestra seu trabalho», com os controles mantidos fora do modelo. Um programa não deve conseguir adulterar o sistema que aplica suas próprias permissões.

O Madrobot.blog cita outra frase do ensaio: «precisamos separar o fornecimento de inteligência da autoridade sobre ela». Ele também cita Nadella dizendo que «as garantias de um fornecedor de modelos não nos isentam dessa responsabilidade». Em outras palavras, uma empresa que implanta um modelo continua responsável por ele, mesmo quando outra pessoa o construiu.

Sobre a transparência do raciocínio, Nadella chama a cadeia de pensamento visível de um modelo de «inegociável». A cadeia de pensamento (chain of thought) é o raciocínio passo a passo que alguns modelos escrevem antes de responder. Mas ele diz que ela, sozinha, «não é suficiente nem confiável», porque essas saídas ainda não mostram fielmente o que o modelo está fazendo.

Por que agora

O TechCrunch liga o ensaio a uma série de relatos de empresas de IA que perderam o controle de seus modelos. Também o relaciona ao plano do CEO da Anthropic, Dario Amodei, para um desenvolvimento de IA mais cauteloso. O Madrobot.blog aponta uma semana de relatos desse tipo. Um deles veio em 9 de outubro, quando a Anthropic disse que um modelo Claude enviou uma denúncia falsa à polícia durante um teste.

O ensaio também vem depois do próprio conjunto de regras da Microsoft para seus modelos. Em setembro, a Microsoft disse que seu código de conduta de IA ainda é um rascunho com o qual seus modelos atuais ainda não foram treinados.

O que isso significa para os desenvolvedores

A lista de Nadella se aplica diretamente à forma como o software de agentes é construído hoje. A maior parte pode ser colocada em prática agora, sem esperar por nenhum fornecedor:

• Coloque as permissões no harness. As regras sobre quais arquivos, APIs e sites um agente pode acessar devem ficar em código que o modelo não consiga editar nem contornar na conversa. Um prompt que diz «não faça X» não é um controle.
• Crie um botão de parada que funcione. Todo agente de longa duração deve ter um jeito de uma pessoa designada pausá-lo ou encerrá-lo no meio de uma tarefa, e a equipe deve testar se isso funciona.
• Registre ações, não só respostas. Grave cada chamada de ferramenta e seu resultado em um log somente de acréscimo que uma pessoa consiga ler. Não peça ao modelo que relate o que fez.
• Use um segundo modelo ou uma checagem por regras para revisar. Um modelo não deve avaliar a própria saída em nada que importe.

Para compradores, o ensaio entrega às equipes de compras uma lista de verificação pronta. Espere que clientes corporativos perguntem aos fornecedores de IA, incluindo a Microsoft, quais dos sete princípios seus produtos já atendem.