本文へスキップ

Microsoft MAI-Base-2、2.8兆パラメーターで事前学習を完了

Microsoft AI(マイクロソフトAI)は、2.8兆パラメーター(アクティブ800億)のモデルMAI-Base-2の事前学習を、GB200 GPU 1万6000基を使って38日間で終えました。まだ公開されていません。

著者

3 分で読めます

英語の原文から機械翻訳したものです。原文はClaire Whitmoreが事実確認と編集を行いました。内容に相違がある場合は英語版が優先されます。 編集方針

2026年10月15日付のMicrosoft AIの投稿「Frontier Pre-training at Microsoft AI」のスクリーンショット。MAI-Base-2を紹介しています。

数字で見る

total parameters, with 80B active per token
2.8T
Nvidia GB200 GPUs used for training
16,000
of pre-training in August and September 2026
38 days
claimed compute efficiency versus DeepSeek-V4-Pro-Base
4.2-12.3x

Microsoft AIは2026年10月15日、次の自社基盤モデルであるMAI-Base-2の事前学習を終えたと発表しました。このモデルのパラメーターは2.8兆で、各トークンでアクティブになるのは800億です。Microsoftによると、テストしたすべてのオープンウェイトモデルを上回り、有力なライバルよりはるかに少ない計算量で済みました。Microsoftが、すでに提供しているOpenAIのモデルと並んで、フロンティア級のモデルを自社でも開発していることがわかります。

事前学習は、言語モデル開発の最初の、そして最もコストのかかる段階です。モデルは何兆もの単語を読み、次の単語を予測することを学びます。MAI-Base-2は現在、事後学習の段階にあります。素のモデルを役に立つアシスタントに変える段階です。まだ利用はできません。

Microsoftが開発したもの

MAI-Base-2は、混合エキスパート(MoE)モデルです。どの瞬間にも動くのは、ネットワークのごく一部、つまり各トークンのために選ばれた「エキスパート」だけです。そのため、2.8兆パラメーターのモデルでも、トークンあたりの処理は800億パラメーター分で済みます。

項目MAI-Base-2
総パラメーター数2.8兆
トークンあたりのアクティブパラメーター数800億
学習用ハードウェアNvidia GB200 GPU 約1万6000基
学習期間2026年8月から9月にかけて38日間
学習データの構成50兆トークン
画像とテキストの割合18%(ユニークトークン4.5兆から)
状況事後学習中、公開日は未定

このモデルは、テキストだけでなく画像からも学習しました。Microsoft AIの投稿によると、50兆トークンの学習データのうち18%が画像とテキストのデータでした。ユニークな学習トークンの数は、前のモデルであるMAI-Base-1から約36%増えました。

学習はどれだけ順調だったか

Microsoftは、効率に関する2つの指標を公表しました。モデルFLOPs利用率(MFU)は平均21%でした。これは、GPUのピーク演算能力のうち、有効な学習に使われた割合です。グッドプットは89%でした。こちらは、クラッシュや再起動からの復旧ではなく、学習に費やされた時間の割合です。

Microsoftは、デリケートな話題についても公に立場を示しました。投稿には「当社の事前学習は、他のモデルからの蒸留を含まないオーガニックなデータに基づいています」とあります。蒸留とは、別のモデルの回答を使ってモデルを学習させることです。今週、AnthropicはClaudeの蒸留に対する新たな防御策を説明しました。

効率に関する主張

見出しの数字は、有力なオープンモデルであるDeepSeek-V4-Pro-Baseとの比較です。Microsoftによると、MAI-Base-2は4分の1から12分の1の学習FLOPsで同じ結果に到達します。投稿の本文では、その幅を4.2~12.3倍としています。

Microsoftは「MAI-Base-2は、当社のホールドアウト評価において、テストしたすべてのオープンウェイトモデルを上回っています」と書いています。ホールドアウト評価とは、学習データから除外されたテストのことです。これらはMicrosoft独自のテストであり、外部の団体は検証していません。

位置づけ

Crypto Briefingによると、Microsoftは2026年6月2日、Buildカンファレンスで7つのモデルとともにMAIプログラムを公式に始動しました。開発チームは、Mustafa Suleyman氏が率いるMicrosoft AIです。

規模の拡大は大きなものです。MAI-Base-1は、GB200 GPU 8,192基と、人間が書いた30兆トークンのデータで学習しました。後の段階では、さらに3.55兆トークンが加わりました。Crypto Briefingによると、このベースを基に作られたMAI-Thinking-1は、コーディングのテストであるSWE-Bench Proで約52.8%を記録しました。

Microsoftは独自のAIチップも開発しています。Crypto Briefingによると、2027年からMaiaチップを数ギガワット規模で導入する計画です。私たちは今週、Maia 300チップについて報じました。Microsoftによると、MAI-Base-3の作業もすでに始まっています。

開発者にとっての意味

今日の時点で、呼び出したりダウンロードしたりできるものはありません。MAI-Base-2は事後学習中の基盤モデルで、Microsoftは公開日も価格も示していません。

公開されたら、2つの点に注目してください。1つ目に、効率の優位がMicrosoftのプラットフォームでの値下げにつながるかを確認しましょう。学習コストの低いモデルは提供コストも下げられますが、Microsoftは何も約束していません。2つ目に、外部のベンチマークを待ちましょう。「テストしたすべてのオープンウェイトモデル」という表現は、どのモデルとどのテストを選んだかに左右されます。

Azureで開発しているチームにとって、より大きなポイントは選択肢です。Microsoftが学習させたフロンティアモデルが、同じプラットフォーム上でOpenAIのモデルと並ぶことになります。コードを1つのモデルファミリーに結びつけているなら、アプリとモデルの間に薄い層を設けておきましょう。そうすれば、MAIモデルが登場したときに、今使っているモデルと比較できます。

出典

  1. Frontier Pre-training at Microsoft AI - Microsoft AI
  2. Microsoft finishes pre-training MAI-Base-2, its next in-house foundation model - Crypto Briefing

関連記事