Jevstiller - ローカルモデルでJevの回答を98%再現
Show HN: Jevstiller – Distill Jev into a local model, with a disagreement bound
Jevstillerは、JevのAPI呼び出しをローカルモデルで代替し、応答時間を300msから15msに短縮します。カバレッジと不一致率を制御する統計的保証により、設定した目標精度（例：98%）を満たすことを約束。継続的な再トレーニングやドリフト検出、監査機能も備え、本番環境での信頼性を維持します。pip install jevstillerで簡単に導入でき、GitHubからクローンして実験を再現できます。
小さなモデルが面白いのではない。契約が面白いのだ。
HNでの議論
14- gingersnap
そのローカルモデルはmodel2vecに似ていますか？
- tgluck
著者です。これは繰り返されるJev分類呼び出しの前にプロキシを置くものです。最初はすべてがJevに送られますが、Jevの回答から凍結された文埋め込み上に小さなヘッドを訓練し、正確な有限標本境界を用いて信頼度閾値を選び、全リクエストのうち最大2%がJevなら与えなかったであろう回答になるようにします。そして、信頼できる分をCPU上で約15 msでローカルに回答します。恒久的な2%の監査がチェックを続け、一致が崩れたらすべてがJevにフォールバックし再訓練します。
既知の限界：一致は正確さではありません（Jevが間違っていれば、ローカルモデルも間違っています）。カバレッジはJev自体がどれだけ一貫しているかを追跡します（ノイズの多いツイートタスクでは22%、ニュースでは80%）。JevのAPIのみを話し、OpenAI互換のフロントはロードマップ上にあります。0.4.0以降、保証は「Jevは不確かだっただろうか」もカバーでき、コードが低信頼度の回答をレビューに回す場合に重要です。Apache 2.0。