GPT-6 Astra、ARC-AGI-3で99.9%にも62.7%にもなる、聞き方次第で

OpenAIの次期モデル、Astraは、推論ベンチマークARC-AGI-3で99.9%を記録した。同じベンチマークで62.7%も記録している。どちらの数字も本物であり、ARC Prize自身が2026年9月3日に両方を公表した。この差は、モデルに変更が加わったからではなく、Astraがどちらのテスト環境で動いたかによるものだ。

Tech AI Wireはこれまでも、Astraがリリースに至る道のりを取り上げてきた。サイバー能力への懸念からOpenAIが開発を減速させたこと、エージェントによる侵害事案の後に訓練を一時停止したことなどだ。今回は、その初めての公開ベンチマーク結果である。

2つのテスト環境、1つのモデル

ARC Prizeは2種類のテスト環境を運用しており、その違いはモデルにどれだけの記憶を許すかにある。

Standard環境は特定の提供元に偏らない中立的な環境だ。ARC Prize自身の記事によれば、この環境はモデルに「環境全体を通じて、自分が保持したいと選んだメモを持ち運ぶ」ことを許すという。つまり、モデルが各手順の間に自分自身に書き残す、目に見えるメモだ。一方Provider Adapter環境は、OpenAI固有のものだ。ARC Prizeはこれを、「リクエストの間で不透明な推論状態を保持し」、「長い会話には圧縮を使うことで、モデルが以前の作業を再利用できるようにする」ものだと説明している。

平たく言えば、中立的なテストはAstraに、覚えておきたいことを公開の場で書き出すよう求める。一方OpenAI自身のテストは、不透明な推論を自動的に次へ持ち越し、長い履歴を失う代わりに圧縮することを許す。

テスト環境	スコア	許されること
Standard（中立）	62.7%	モデル自身が書いた、目に見えるメモのみ
Provider Adapter（OpenAI自身のもの）	99.9%	リクエスト間で保持される不透明な推論状態、加えて圧縮

Superpower Dailyによれば、Provider Adapterでの実行は、記録された経過時間の合計で見て約3.66倍速く、使用した総トークン数も49%少なかったという。この不透明な状態が何をしているにせよ、それは効率よく行われている。

テストを実施した側による、率直な説明

ARC Prizeはこの差を隠していない。同じ投稿の中で両方の数字を公表し、どちらのテスト環境がどちらの数字を生んだのかを読者に見せている。

Superpower Dailyは、本当に問うべき問いを率直に示す。「いま鍵となる問いは、Astraの見かけ上の能力のうちどれだけがモデル自身に属し、どれだけがその周りの文脈管理システムに属するのか、ということだ」と同メディアは書いている。FourWeekMBAも同様の枠組みでこの差をとらえ、「30ポイントを超える差は…不誠実の証拠ではない。旗艦級のベンチマーク数値が、テスト環境に依存しうることを示す証拠だ」と記している。

テスト環境をめぐる論点とは別に、ARC Prizeは正真正銘新しい能力についても報告している。Astraが完了したレベルのうち、ARC Prizeによれば96%で人間の基準を上回り、平均して人間が必要とした行動数より51.7%少ない行動数で達成したという。このモデルは、新しい環境ごとに、代数のような簡潔な独自表記、規則や状態を表す一種の速記法を組み立てており、長く冗長な手順を踏んで考えるわけではない。ARC Prizeの共同創業者フランソワ・ショレ氏は、OfficeChaiによれば、この結果をモデルの効率と能力における「階段状の飛躍」と評した。

これが開発者にとって意味すること

Astraに限らず、どのモデルであっても、あるベンチマーク数値がどちらのテスト環境から出たものかを確認する習慣をつけたい。同じモデルに対する2つの正当なテストの間に37ポイントの差があるというのは、いまや仮説ではなく、文書化された現実の現象だ。ベンダーがテスト条件を示さずに1つの数字だけを公表しているなら、その省略自体が発見すべき事実である。

自社の用途向けにモデルを評価するなら、公表済みのテスト環境が自分たちの運用環境に合っていると信じるのではなく、自前のテスト環境を組み立てたい。Provider Adapterの優位性、つまりリクエストをまたいで持ち越される不透明な状態は、ほとんどの本番システムが標準ではモデルに与えていない種類の基盤そのものだ。自分のアプリケーションが実際にモデルへ渡す条件に近い形でテストしたい。

実際に一貫していたものにも目を向けたい。Astraが人間を上回った96%という割合と、行動数が51.7%少なかったという効率性は、どちらのテスト環境が見出しの数字を生んだかにかかわらず変わらなかった。ベンチマーク結果を読むときは、2種類の主張を分けて考えたい。見出しの数値は、テスト環境次第で37ポイント動いた。行動効率のような、具体的でメカニズムに踏み込んだ主張のほうが、モデル自体について何か本物のことを反映している可能性が高い。

自前の状態管理層を持つエージェント型モデルを出す研究所は、今後さらに増えていくだろう。「中立な」ベンチマークと「ベンダー最適化済みの」ベンチマークの差は、この1件限りの注記ではなく、主要なリリースのたびに現れる標準的な特徴になっていくと見ておきたい。