Jevper - OpenAI互換モデルに型安全な分類レイヤーを追加
Show HN: Jevper – the Jev interface on top of any OpenAI-compatible model
Jevperは、TypeSafeのJevインターフェースを任意のOpenAI互換モデル上で再現するPythonライブラリです。テキストではなく確率と信頼度を返すため、分類結果を数値で扱えます。logprobs、grammar、structured、discreteの4つの手法で質問を処理し、自己ホストのllama.cppサーバーも利用可能。既存のJev向けコードを変更なしで動かせ、pip install jevperで導入できます。
同じ呼び出し、異なるバックエンド:jevperをホスト型LLMや自己ホストのllama.cppサーバーに向ければ、Jev用に書かれたコードはそのまま動き続けます。