TypeSafe AI、Jevを発表——既存LLMより最大400倍安く200倍速いSystem Oneモデル
Jev: New frontier model 40-400x cheaper and 20-200x faster
TypeSafe AIがSystem Oneモデル「Jev」を発表。文字列生成を捨て、型安全な構造化出力に特化。並列サンプリングとRLCDにより、既存LLMと同等の知能を保ちつつ最大400倍安価で200倍高速。幻覚がなく、確信度を常に出力。
JevはSystem Oneタスクにおいて既存のLLMと同程度の知能を達成しながら、2桁高速かつ高効率です。Jevは文字列生成を諦める代わりに、構造化出力に最適化されており、幻覚を起こすことができません。
HNでの議論
328- jacobgold
まず、本当に面白く新しいものをローンチしたチームにおめでとう。
より正確なタイトルは「Jev: 汎用生成を高速な型付き推論と引き換えに」とか、そんな感じじゃないかな。
これは興味深いけど、速度の比較はミスリードっぽい？チューリング完全な言語でコードを出力できる生成モデルは、コンピュータができることなら何でもできる。
Jevは構造化出力しか生成できないんだよね？これは分類/ルーティング/スコアリングには超便利だろうけど、今みんながコードや自動化に使っているコード生成モデルとは全然違う。
あと「ハルシネーションしない」ってのも間違ってる気がする？確かに無効な型は出力できないけど、完全に間違った有効な値は出力できる。適切なハーネスを使えばLLMからも構造化出力を強制できるし。
変な細工がないと仮定すれば、Doomのデモはクールだね。
- cfowles
彼らのHome Assistantのデモ（https://www.loom.com/share/18c4dbcf8db546dfb2d7f2ef018e78e4）を見るまで、その価値が本当にピンとこなかった。
すごくクールだと思う。
- futurisold
これと契約を組み合わせれば、今や多くのことがとても楽しいものになるね！
知らない人のために（おそらく私以外の全員だろうけど）、私はPythonで契約による設計パターンを移植してLLMと組み合わせた。これは2025年初頭のこと。元々はここに書いた: https://leoveanu.com/2025-03-01-dbc/
それ以来、契約はSymbolicAIの中核機能だ。コミュニティも気に入ってくれたようだ（https://news.ycombinator.com/item?id=44399234）。
その含意が少しずつ見え始めていて、精査に耐えればエージェントワークロードを変えるだろう。まだ何か言えるほど早くはなく、大まかな考えを書き留めるだけだ。
要するに、制御フローで使える爆速のセマンティック分岐が手に入る。契約については、設計しなければならないデータモデルを直接Jevの期待する形式に変換できる。あるいは事後条件でのセマンティック分岐にJevを使える。
私の理解が正しければ、それは可能なはずだが、もっと考える必要がある。Jevを使えばついに「契約をコンパイル」して、ワークフローにうまく連鎖させられるかもしれない。これはずっと欲しかったが、適切なやり方がわからなかったことだ。
テストするのが待ちきれない。ウェイティングリストにいる。
- maltalex
これは非常に有望なアイデアだ — 任意のテキスト入力（複雑なJSONでも可）と一連の質問（はい/いいえ、多肢選択、またはスコア）を受け取り、それらの質問に高速（ミリ秒）かつ安価（$0.042/MTok）に答えるモデル。
残念ながら、発表ではこれらは一切説明されていないが、ドキュメント[0]はかなり良い。
[0]: https://docs.typesafe.ai/concepts/how-to-build-with-system-o...
- big_toast
ドキュメント[0]の方が良い説明のようだ？LLMトークンとの比較はちょっと混乱する。
どうやらモデルは入力として状態（構造化テキスト？マルチモーダルかどうかは不明）と質問（「Choice」「Score」「Noul」として）を取り、追加の拡張も可能なようだ。そして質問の答えを適切に出力する（例えば選択肢、付随する確率、信頼度）。
編集: AI入門ページでは、事前学習済みベースモデルでRLCDを行っているようだ？
- wg0
これを航空管制官として使える？人間と同程度のエラー率で？
それがリトマス試験になるだろう。
「ハルシネーションしない」は「決して間違えない」と同じではない。
だからATCテストがベンチマークになり得る。
- lubujackson
プロンプトとevalで散々試行錯誤した結果、これこそが私が本番でLLMを使っている方法だ。狭い選択をして構造化データを返すためだ。決定論的な作業はプロンプトから取り除き、モデル出力をできるだけ明確に定義され最小限になるよう絞り込むのが目標だ。
Jevの構造化I/Oと信頼度スコアへの注力はゲームチェンジャーだ。これが主張通りなら、エージェントシステムの新しい標準アプローチにすぐになると思う。
- dgellow
余談: Diogo AlmeidaがDario Amodeiの名前のパロディ版だと気づくのに、認めたくないほど時間がかかった。
- skerit
つまり理論的には、不完全なテキストを入力して、次の文字が何になるかの確率を尋ねられるということ？
- ramon156
これは良さそうだけど、今のところ主張はすべてマーケティング用語に聞こえる。実際の証拠が見たい。例えば「RLCD」と「並列サンプリング」には裏付けが何もない。
あと「70-500ms vs 3-329秒」は、LLMベースラインが同等の作業（例えば長い思考連鎖）をしていない限り、リンゴとオレンジの比較だ。Jevが狭い構造化タスクで生成を完全にスキップしているなら、速いに決まっている。
それでも、これが本当であってほしいので、Jevを楽しみにしている。
編集: 彼らのマニフェスト https://typesafe.ai/manifesto が好きだと言わざるを得ない。