GLM-5.3-FlashをJev級の意思決定モデルに変える
Turning GLM-5.3-Flash into a Jev-like decision model
LLMにJSON全体を書かせるのではなく、選択肢に番号を振ってプロンプトをchoice_index:で終わらせ、次の1トークン分のlogitsだけを読む。正規化すれば各選択肢の確率が得られ、fine-tuningなしでJev並みの精度と速度を実現する。29の公開データセットで比較すると、GLM-5.3-FlashとJevの精度差は統計的に有意ではなく、画像への型付き判断も可能になる。
私たちの核心的な洞察は、LLMにJSONオブジェクト全体を予測させる必要はないということです。なぜなら、その形はすでに分かっているからです。
HNでの議論
59- ArtRichards
個人的にはPrivatemodeのアプローチが大好きです。機密性の高いAIユースケースでJev並みの速度が使えるのは、大きな可能性を広げますね。
- ricardobeat
みんなJevをエミュレートしようとこれをやっているけど……
23,000語（±30k入力トークン）のランダムな本の抜粋をコンテキストとして使ってみた。それでもJevは800ms、時には500msで応答する。これはおおよそ20〜50,000 tok/sのprefillに相当するが、通常のLLMでは明らかに不可能で、Cerebrasでさえこんなに速くはない。
- walrus01
十分に賢いLLMなら何でもyes/noの意思決定モデルかそれ相当に変えられる。私には既に、2段落の詳細なプロンプトでページ単位の大量の情報をLLMに送り、7つのJSONオブジェクトだけを返すよう求めるワークフローがある。そのうちいくつかは、内容に特定のものが含まれるかどうかといった二択の「yesかno」の選択だ。
Qwen 3.6 35B A3Bや3.8 27Bの変種のような、ホストするのがそれほど難しくない小規模なローカルLLMでもできる。
- prjkt
ローカルで動かせるなら、なぜJevの方が安いんだ？prefill 0.5%、decode 0.1%、cached 99.4%、レイテンシは20ms未満だぞ。
- m4y0u
私の疑問は、なぜ代わりにJevを使わないのかということだ。その方が速くて安い。