Qwen3.5-9B、KVキャッシュに1トークン32KBを使う

AlibabaのQwen3.5-9Bは、32層のうち8層だけでフルアテンションを使います。残る24層は、メモリの費用が会話とともに増えない線形の手法を使います。この分担があるため、90億パラメータの模型が8GBのグラフィックスカードで長い会話を保てます。

この模型は2026年2月にApache 2.0ライセンスで公開されました。多くの記事はその試験の点数に注目しました。VentureBeatは、大学院レベルの科学的推論の試験であるGPQA Diamondで81.7を記録し、OpenAIのgpt-oss-120bの80.1を上回ったと伝えました。自分のハードウェアでこの模型を動かす人にとっては、点数より層の構成のほうが重要です。

KVキャッシュとは何か、なぜ増えるのか

言語模型は、新しい語を書くたびに会話全体を読み返します。その作業を毎回やり直すのは遅くなります。そこで模型は、キーと値と呼ばれる中間の値を、KVキャッシュという置き場に保存します。

模型の重みは固定の費用です。KVキャッシュはそうではありません。会話のトークンが増えるたびに大きくなります。

メモリが8GBの機械では、この違いが多くを決めます。模型のファイルは問題なく読み込めても、会話が長くなった時点で場所が足りなくなることがあります。そうなると、ソフトウェアは失敗させる代わりに層を主処理装置へ移すのが普通で、速度は大きく落ちます。

Qwen3.5-9Bはどう層を分けているか

Qwen3.5-9Bのモデルカードは、この積み重ねを4層ひと組の8回の繰り返しとして説明しています。各組の3層は線形アテンションの手法であるGated DeltaNetを使います。4層目はgated型のフルアテンションを使います。

線形アテンションは、大きさが一定の状態を持ち続けます。文章が長くなっても増えません。つまりその24層は、4,000トークンでも200,000トークンでも同じ費用です。

増えるキャッシュを持つのは、フルアテンションの8層だけです。モデルカードはその形を示しています。キーと値のヘッドが4つ、それぞれ幅は256次元です。

これで1トークンあたりの費用を計算できます。8層に2をかけます。キーと値の両方を保存するからです。次に4ヘッド、次に256次元、次に1つの値あたり2バイトをかけます。結果は32,768バイト、つまり会話のトークン1つごとに32KBです。

実際の文脈長でいくらかかるか

モデルカードは、本来の文脈長を262,144トークン、拡張でおよそ1,010,000トークンとしています。1トークン32KBなら、各長さでのキャッシュ費用は単純な計算です。

下の表の2列目は、8層ではなく32層すべてがフルアテンションを使った場合に同じ模型がいくらかかるかを示します。これは仮の値で、節約の大きさを示すために載せています。

文脈長	Qwen3.5-9BのKVキャッシュ	32層すべてがフルアテンションだった場合
8,192トークン	0.25 GiB	1.0 GiB
32,768トークン	1.0 GiB	4.0 GiB
131,072トークン	4.0 GiB	16.0 GiB
262,144トークン	8.0 GiB	32.0 GiB

この設計は、どの長さでもキャッシュのメモリを4倍分節約します。4ビットの重みをおよそ6.6GB載せた8GBのカードでは、これは32,000トークンの会話と4,000トークンの会話の違いになります。

Qwenはその後、同じ考えをさらに進めています。Qwen3.8-Flash-Nextの公開では、4層のうち3層でやはりGated DeltaNetを使い、あわせて疎な専門家型の設計を採っています。

開発者にとっての意味

パラメータ数は、模型が決まった量のメモリに収まるかの目安としては当てになりません。同じ大きさの模型2つが、キャッシュの費用だけで4倍以上違うこともあります。大きさの見積もりを信じる前に、層の構成を確かめてください。

探すべき数字は、公開されている模型の設定にあります。何層がフルアテンションを使うか、それぞれにキーと値のヘッドがいくつあるか、各ヘッドの幅はどれだけか、です。この3つの数字に、キーと値のための2と、16ビット保存のための2をかけると、1トークンあたりの費用が出ます。あとは実際に使う予定の文脈長をかけます。

文脈の窓を選ぶ前に、キャッシュの分を見積もってください。よくある間違いは、最大値が使えるからという理由で文脈を模型の最大値に設定することです。多くのローカルの実行環境は、収まらない設定でも受け入れ、そのうえで静かに処理を演算装置へ移します。それは誤りではなく、原因不明の速度低下のように見えます。

キャッシュを半分にする方法もあります。多くの実行環境は、キャッシュを16ビットではなく8ビットの精度で保存でき、品質のわずかな低下で上の表の数字が半分になります。8GBの機械では、これが模型を使えないものから快適なものへ変える設定になることがよくあります。