AnthropicのAI安全法案、モデル停止の基準を「死者50人」に設定

Anthropicは、AI安全に関する連邦法案の草案を米国の議員に提示しました。この法案では、政府が強力なAIモデルを阻止できるのは、ごく限られた場合だけです。そのモデルが、50人を超える人を死なせるか、10億ドルを超える損害を生む、予見可能で差し迫ったリスクをもたらす必要があります。その場合でも、停止を命じられるのは連邦裁判官だけです。この草案が重要なのは、大手AI研究所が、自らの業界に求めるルールを自分で書いているからです。

法案草案の内容

Politicoが最初に草案を報じ、Anthropicがそれを認めました。TechCrunchの記事が、その仕組みを説明しています。

法案の項目	内容
対象	最も強力なAIモデル。フロンティアモデル（最先端の高性能モデル）とも呼ばれます
モデルを阻止できる条件	50人を超える命、または10億ドルを超える損害に対する、予見可能で差し迫ったリスク
対象となるリスク	生物兵器、開発元の管理をすり抜けるモデル、サイバー攻撃
モデルを確認する者	米商務省（Commerce Department）に登録された独立した評価者
リスク報告の期限	評価者が差し迫った壊滅的リスクを見つけてから72時間
公開を止められる者	商務省の要請を受けた、ワシントンD.C.の連邦裁判官のみ

報道機関によって、人命に関する基準の言い方は少し異なります。TechCrunchは、50人を超える人が死亡するおそれがある場合としています。Insurance Journalは、50人を超える人を死傷させる場合としています。Truthoutは、50人が死亡または重傷を負う場合としています。

モデルが実際に止められるまで

法案は、いくつかの段階からなる流れを定めています。Insurance Journalによると、まずAI開発企業がモデルをテストし、その結果を公表します。独立した評価者もモデルを審査します。

評価者が差し迫った壊滅的リスクを見つけた場合、72時間以内に商務省へ報告しなければなりません。その後、商務省は裁判官に公開の差し止めを求める必要があります。TechCrunchによると、連邦機関が独自に公開を止めることは、明文で禁じられます。

この最後の点が、批判の核心です。TechCrunchは、草案は保護を加えるように見えるものの、実際には裁判官の許可なしに機関が公開を阻止することを禁じていると指摘しています。Truthoutによると、判断するのはコロンビア特別区（ワシントンD.C.）の連邦裁判官だけです。

評価者に報酬を払うのは誰か

AI研究所は、自社のモデルを確認する評価者に報酬を支払えます。条件は、支払いが評価の結果に左右されないことです。TechCrunchは、それが実際にどう機能するかは「明確ではない」としています。Truthoutは、この仕組みを利益相反だとしています。

Anthropicは、外部による審査を自社で試してきました。先週には、自社のシステムについて、研究団体METRの評価者6人に社員と同等のアクセス権を与えました。

Anthropicの説明

Anthropicの広報担当者は、草案は同社のAdvanced AI Frameworkを反映したものだと述べました。Insurance JournalとTruthoutが引用した広報担当者の発言によると、同社はこれを「6月から連邦と州の議員に対して提唱してきた」といいます。声明は「これらは、議会が取り組むべきだと私たちが考える妥当な政策です」と続けています。

Insurance Journalによると、Anthropicは、草案をどの範囲まで共有したか、議員がどう受け止めたかについては明らかにしませんでした。この草案を提出した議員はまだおらず、法案番号もありません。TechCrunchは、基準がカリフォルニア州のAI安全法であるSenate Bill 53の基準に似ていると指摘しています。

政治的な道のりは険しいものです。Insurance Journalによると、トランプ政権はこれまで、AIへの監督強化を求める声を退けてきました。業界のほかのリーダーは、別の方法を求めています。Google DeepMindのDemis Hassabis氏は、金融業界の規制機関であるFINRAをモデルにした、業界が自ら運営する機関を提案しています。TechCrunchによると、NvidiaのJensen Huang氏は、AI業界に新しい法律は必要ないと主張しています。

開発者にとっての意味

この法案の対象になるモデルを公開する開発者は、ほとんどいないでしょう。それでも、その影響は、フロンティアモデルの上で開発するすべての人に及ぶことになります。

• 公開されるテスト結果が増えると考えてください。 草案は、研究所にモデルのテストと結果の共有を求めています。こうした報告は、ベンチマーク（性能を比べる標準テスト）と並んで、モデル選びの材料になるでしょう。
• 公開が一時停止される可能性はありますが、まれです。 基準は高く、裁判所が動く必要があります。それでも、1社の次のモデルに頼るチームは、遅れに備えた計画を立てておくべきです。
• 評価者のルールに注目してください。 誰がどのように評価者に報酬を払うかで、その報告を信頼できるかどうかが決まります。法案が提出されたら、追うべきなのはこの点です。
• 州法も追ってください。 カリフォルニア州のSenate Bill 53は、すでに似た基準を定めています。連邦法がその上に重なる可能性があるため、コンプライアンス担当のチームは両方に対応しなければならないかもしれません。