Cactus Hybrid - On-device models that know when they're wrong

Show HN: Cactus Hybrid: We taught Gemma 4 to know when it's wrong

Cactus Hybridは、オンデバイスモデルに「自分が間違っていることを認識する」能力を組み込んだ、ハイブリッド推論のためのツールキットです。各回答には0から1の信頼度スコアが付与され、信頼度が低い場合のみ、より大きなクラウドモデルにルーティングすることで、精度とプライバシー、コストのバランスを最適化します。最初のモデル「Gemma 4 E2B Hybrid」は、ベンチマークでGemini 3.1 Flash-Liteに匹敵する性能を、わずか15〜35%のクエリをクラウドに委譲するだけで達成します。Cactus、Transformers、llama.cpp、MLX向けのクイックスタートを提供し、開発者は簡単に統合できます。