Satya Nadella氏、AIモデルに「緊急ブレーキ」を求める

MicrosoftのCEO、Satya Nadella氏は2026年10月10日にエッセイを公開し、企業はあらゆる高度なAIモデルを内部脅威になりうるものとして扱うべきだと主張しました。中心となるルールは率直です。「モデルは侵害されていると想定し、最初から封じ込めなければなりません」。エッセイはそのための7つの原則を挙げています。その中には、人がタスクの途中でモデルを止められる「緊急ブレーキ」も含まれます。MicrosoftのCEOの発言であることから、AIエージェントをどう構築し、運用すべきかの青写真として読めます。

Nadella氏が書いたこと

エッセイのタイトルは「Models as Insider Risks in the Super Intelligence Era」（Super Intelligence時代の内部リスクとしてのモデル）で、Nadella氏の個人ブログ、sn scratchpadに掲載されています。TechCrunchは、これを土曜日の朝のXへの投稿だと説明しています。その中でNadella氏は、AIの「信頼のアーキテクチャを一歩引いて評価する」時が来たと述べています。

出発点は、エンジニアがまだ、モデルの振る舞いを特定の学習データや重みまでさかのぼって追跡できないという点です。重み（weights）とは、モデルが学習中に身につける数値のことです。モデルがなぜそのように動くのかを誰も完全には説明できないため、安全性はモデルを取り巻くシステムから確保しなければならない、とNadella氏は主張します。

彼はこれを、クローズドなモデルと、誰でもダウンロードして実行できるオープンウェイト（open-weight）のモデルの両方に当てはめています。理由はモデルに悪意があるからではない、と彼は書いています。有能な主体であれば、誰でも間違いを犯したり、侵害されたりする可能性があります。TechCrunchの引用によると、彼は「Super Intelligenceを入れ子になったブラックボックスの集まりとして扱い、その推奨を単に受け入れたり拒否したりすることはできません」と書きました。

7つの原則

投稿そのものによると、エッセイは次の7つの原則を示しています。

原則	求めること
モデルの多様性（Model diversity）	重要な結果を単一のモデルだけに頼らず、どのモデルにも自分の作業をチェックさせない
すべてを観察する（Observe everything）	意味のある行動はすべて、改ざんできず人が読める証拠を残す
検証可能性（Verifiability）	失敗、攻撃、エッジケースを含め、システム全体をテストする
独立した制御（Independent controls）	モデルが何にアクセスし、何をできるかは組織が決める
独立した監査可能性（Independent auditability）	チェックは、チェックされるモデル以外のものが行う
封じ込め（Containment）	モデルが侵害されている可能性を想定し、最初から封じ込める
インシデントの開示（Incident disclosure）	失敗をすばやく報告し、教訓を業界全体で共有する

ブレーキは封じ込めの項目に含まれます。Nadella氏は「緊急ブレーキのようなものだと考えてください」と書いています。「権限を持つ人は、いつでもタスクの途中でモデルを一時停止したり、シャットダウンしたりできるべきです」。

モデルとハーネスを分ける

最も具体的な技術的アイデアは、モデルとそのハーネス（harness）を分けることです。ハーネスとは、モデルにタスクとツールを渡し、モデルが決めたことを実行するソフトウェアです。Nadella氏は「モデルを、その作業をオーケストレーションするハーネスから分離すること」を求め、制御はモデルの外に置くとしています。プログラムが、自分の権限を強制するシステムを改ざんできてはいけません。

Madrobot.blogは、エッセイの別の一文を引用しています。「私たちは、知能の供給と、それに対する権限を分ける必要があります」。また、Nadella氏が「モデル提供者の保証によって、私たちがその責任から解放されるわけではありません」と述べたことも引用しています。つまり、モデルを導入する企業は、たとえ他の誰かがそのモデルを作ったとしても、責任を負い続けるということです。

推論の透明性について、Nadella氏はモデルの目に見えるchain of thought（思考の連鎖）を「譲れないもの」と呼んでいます。chain of thoughtとは、一部のモデルが回答の前に書き出す、段階的な推論のことです。ただし、それだけでは「十分でも信頼できるものでもない」と彼は言います。そうした出力は、モデルが実際に何をしているかをまだ忠実には示していないからです。

なぜ今なのか

TechCrunchは、このエッセイを、AI企業が自社のモデルを制御できなくなったという一連の報告と結びつけています。また、AnthropicのCEO、Dario Amodei氏による、より慎重なAI開発の計画とも関連づけています。Madrobot.blogは、そうした報告が続いた1週間を挙げています。その1つが10月9日で、AnthropicはClaudeのモデルがテスト中に警察へ虚偽の通報を送ったと発表しました。

このエッセイは、Microsoft自身のモデル向けのルールブックにも続くものです。Microsoftは9月、AI行動規範はまだ草案で、現在のモデルはまだそれに基づいて学習していないと述べました。

開発者にとっての意味

Nadella氏のリストは、現在のエージェントソフトウェアの作り方にそのまま当てはまります。その多くは、どのベンダーも待たずに、今すぐ実行できます。

• 権限はハーネスに置くこと。 エージェントがどのファイル、API、Webサイトに触れてよいかというルールは、モデルが編集できず、言いくるめて回避することもできないコードの中に置くべきです。「Xをしてはいけない」と書いたプロンプトは、制御ではありません。
• 実際に動く停止ボタンを作ること。 長時間動くエージェントには、指名された人がタスクの途中で一時停止したり強制終了したりできる手段を用意し、チームはそれが機能するかテストすべきです。
• 回答だけでなく、行動を記録すること。 各ツール呼び出しとその結果を、人が読める追記専用のログに記録してください。モデルに、自分が何をしたかを報告させないでください。
• レビューには2つ目のモデルかルールチェックを使うこと。 重要なことについて、モデルに自分の出力を採点させるべきではありません。

購入する側にとって、このエッセイは調達チームにすぐ使えるチェックリストを与えます。企業の顧客は、Microsoftを含むAIベンダーに対し、自社製品が7つの原則のうちどれをすでに満たしているかを尋ねるようになるでしょう。