Cactus Hybrid - On-Device Models with Confidence Scores for Cloud Handoff

Show HN: Cactus Hybrid: We taught Gemma 4 to know when it's wrong

Cactus Hybrid ist eine Sammlung von On-Device-Modellen, die nach dem Training lernen, ihre eigenen Fehler zu erkennen. Jede Antwort wird mit einem Konfidenzwert zwischen 0 und 1 versehen, der als strukturierte Daten zurückgegeben wird – nie aus dem Antworttext geparst. Bei hoher Konfidenz beantwortet das Modell die Anfrage lokal; bei niedriger Konfidenz kann die Anfrage automatisch an ein größeres Modell weitergeleitet werden. Das erste Modell, Gemma 4 E2B Hybrid, erreicht durch Routing von nur 15–35% der Anfragen an Gemini 3.1 Flash-Lite die Leistung von Gemini 3.1 Flash-Lite auf den meisten Benchmarks. Entwickler können die Modelle über Cactus, Transformers, llama.cpp und MLX nutzen.