TypeSafeの非公開モデルJevを再現、オープンソースのスターターが登場
Reverse-engineered Jev-like model
TypeSafeの商用モデルJevと同じ入出力形式を持つ独立系スターターモデルが公開された。テキストと選択肢のリストを一度に処理し、各選択肢の確率を出力する。合成データで約98%、Wikispeediaの次クリック予測で26〜29%の精度を達成。8択では400トークンを生成する小型デコーダより約100倍高速だが、Jevの完全な再現ではなく研究用スターターと位置づけられている。
JevはTypeSafeの商用モデルであり、その設計は公開されていない。このリポジトリは、同じ入出力形式を持つ独立したスターターモデルである。
HNでの議論
23- vrc
好奇心から、そして半ば無関係な話ですが — なぜこうしたカスタムエンコーダ・デコーダ構成のプロジェクトの多くは、最小の3.5ではなく、2.5や3といった以前のQwenバージョンを使うのでしょうか？単に数百mのパラメータのせいなのか、それとも後者のアーキテクチャや事前学習に何かあるのでしょうか？
- steeve
https://x.com/harshagundal/status/2100044305536889015?s=20
> 彼らは2年間ステルスで開発していた、私は2時間ステルスで開発していた…
> Qwen-2.5-1B-RLCDをオープンソース化できて嬉しいです。型安全性が必要なJSONワークロードで、オンデバイス推論が5倍高速です。
- mmastrac
どんな拡散モデルも、潜在的にJevの変装かもしれない：https://github.com/vllm-project/vllm/pull/57250
私のDGX Sparkでは、決定あたり約0.2秒で動作します。
プログラミング言語検出 10/10
人間言語検出 9/10
単位の大きさ比較 10/12
不正解の回答はすべて低Pでマークされます。
それ（JevモードのDiffusionGemma）はASCII迷路も解けます。