自宅のGPUで訓練した0.8Bモデルが、Jev互換の判断を22msで下す
Jeff – Jev-compatible 0.8B decision models, trained at home, ~30 ms
Qwen3.5とGemma 4をファインチューニングした超小型の判断モデル「Jeff」。状況と選択肢を言葉で渡すと、1回の順伝播で各選択肢の確率を返す。生成テキストもパースも不要で、RTX PRO 6000なら約22ms、Apple M4 Maxなら約28ms。ゼロショットでJevの公表値に迫り、分類系ベンチマークでは上回ることも。訓練はすべてローカルのRTX PRO 6000で完結し、合成データはDGX Spark上のオープンモデルが生成した。
JeffはJevと同じリクエスト形式を使うが、Jevの開発元であるTypeSafeとは提携も承認もされていない独立したプロジェクトだ。
HNでの議論
144- adrithmetiqa
理解が足りなくてすみませんが、Jevタイプの機能がすべてのフロンティアモデルに直接組み込まれるまでどれくらいかかりますか？
- AgentMasterRace
現在のユースケースでJevと比較しましたが、非常に不正確です。70%対94%。分類タスクとしては受け入れられません。
- trebligdivad
商用LLMの使用のうち、分類はどのくらいの割合を占めているのでしょうか？完全なLLMは必要ないと気づいたとき、ビジネスAI支出やデータセンター使用量がどうなるのか気になります。
- imranq
Jevや意思決定型モデルを、スキーマ出力制約を追加したLLMで置き換えられるという人は、完全にポイントを外しています。重要なのは、高品質を保ちながらの極端な速度とコスト効率であり、LLMではこれらのKVキャッシュのトリックを使っても得られません。
- phlipski
ある年代の人にはわかるでしょうが、Askjev.comがまだ利用可能であることに驚いています。
- velominati
TypesafeはJevの基盤技術についてかなり沈黙しています。速度とコストから推測すると、LLMのようにトークンを入力しているわけではないでしょう。つまり、すべての単語を反復処理してそれぞれの間の関連性を描くような方法です。それはO(n^2)の問題であり、LLMがスケールするにつれて非常に高コストになる理由です。
- qtalen
素晴らしい、ローカルにデプロイできる意思決定モデルを探していたところです。ありがとうございます！
- danbrooks
この種のプロジェクトは非常に有用に見えます。Jevの周りには多くの話題がありましたが、ローカルで実行でき、ファインチューニング可能なモデルがあることは極めて役立ちます。