LayaはJevに対する4億2100万パラメータの公開モデル

Convai Innovationsは、文章を書く代わりに型付きの質問へ答えるモデルLayaを、Apache 2.0ライセンスで公開した。パラメータ数は4億2100万で、ダウンロードして手元で動かせる。先行する商用モデルは順番待ちリスト経由でしか使えないため、この点こそが違いである。

Layaが担う仕事は、本サイトが9月15日に報じたTypeSafeのJevが文章ではなく型付きの判断を返すという話と同じ形をしている。電子メールやJSON文書といった状態と、答えの型を決めた質問を渡す。モデルは1回の処理ですべての答えを埋め、それぞれに確信度の数値を添える。

中身は何か

モデルカードが示すのは新しいアーキテクチャではなく、小さな積み重ねである。ModernBERT-largeがパラメータのうち3億9500万を占める。その上に、ゼロから学習した判断ヘッドが載る。内訳は2層のTransformer、選択肢の採点器、そして実行と上位委譲を選ぶヘッドである。

英語版のチェックポイントは一度に最大512トークンを読む。多言語版は別の土台であるmmBERT-baseを使い、3億2200万パラメータで1024トークンを読み、100を超える言語に対応する。導入はPythonのライブラリとして行う。

512トークンは短い。おおよそ電子メール1通分であり、問い合わせの一連のやり取り全体ではない。自分の入力で最初に確かめるべき制限はここである。

速度の主張と、測った人

プロジェクトのサイトは、Tesla T4というグラフィックスカード上で、質問1件あたりの中央値32.8ミリ秒を示している。10件をまとめて処理した場合は1件あたり7.2ミリ秒だという。

注意が要るのは比較対象の数値である。モデルカードはJevを236から276ミリ秒とし、7.8倍の高速化と述べる。同時に「Jev figures are third-party published, never measured here」とも明記している。

32.8ミリ秒がどのチェックポイントの値かについても説明が食い違う。AI Weeklyはその値を多言語版のものとし、英語版は39.5ミリ秒と伝える。一方でプロジェクトのサイトは32.8ミリ秒を代表値として掲げる。どちらも同じ種類のハードウェア上の数値である。

正解率は二度読む必要がある

Laya自身の資料は、看板の数値が何を意味するかについて珍しく率直である。

測定	値
型付き判断、そのベンチマークの学習分割で追加学習した場合	0.766
型付き判断、追加学習なし	0.362
同じベンチマークでの偶然の基準値	0.318
最頻クラスを選び続けた場合の基準値	0.461
電子メールの迷惑メール判定	0.993
フィッシング検出	0.980
Banking77の意図分類	0.425

注目すべきは2行目である。追加学習なしでは0.362であり、当てずっぽうが0.318、最も多い答えを選び続けると0.461になる。モデルカード自身がこう結論づけている。「Laya is a fast base to specialise, not a zero-shot decision engine」。

較正でも同じ傾向が出る。確信度の数値は実際の正解率と一致すべきものだが、報告された較正誤差は0.466から始まる。宣伝されている0.081に届くのは、質問の種類ごとに温度を調整し直したあとである。これは受け継ぐ性質ではなく、自分で行う作業である。

創業者のNandakishor Mukkunnoth氏はもう1つの限界を挙げる。「Choice questions degrade with >20 options」。

開発者にとっての意味

これは完成した判断サービスではなく、追加学習の土台として扱いたい。0.362と0.766の差は、あるベンチマークの学習分割だけから生まれている。自分の判断について数千件の正解づけができないなら、結果を予測するのは追加学習なしの数値のほうである。

合う場面では採算が大きく変わる。迷惑メールとフィッシングの判定は0.98を超えており、この設計が狙うのはまさにそうした狭い二者択一である。手元で動かせば、トークンごとの費用も順番待ちもなくなる。数十ミリ秒で済む振り分け処理はリクエストの流れの中に置けるが、大規模モデルへのAPI呼び出しは置けない。

確信度の数値を信じる前に、較正の作業を見込んでおきたい。自分のデータで質問の種類ごとに温度を調整し、その後1週間、確信度と結果を記録して0.7が本当に7割を意味するか確かめる。本サイトはJevについても同じ確認を勧めた。公開されたチェックポイントなら、少なくとも自分で確かめられる。

ついでにライセンスと自分の計画も照らし合わせたい。Apache 2.0は商用利用と改変を認める。閉じたAPIとの正直な比較は、速さだけでなく、判断が誤ったときに誰が中を確かめられるかという点にも及ぶ。