Cactus Hybrid - On-device models that know when they're wrong

Show HN: Cactus Hybrid: We taught Gemma 4 to know when it's wrong

Cactus Hybrid는 소형 온디바이스 모델이 자신의 답변에 대한 신뢰도를 0과 1 사이의 점수로 제공하는 기술입니다. 이 신뢰도 점수는 구조화된 데이터로 반환되어, 신뢰도가 높으면 기기에서 직접 답하고, 낮으면 더 큰 모델(예: Gemini 3.1 Flash-Lite)로 라우팅할 수 있습니다. Gemma 4 E2B Hybrid 모델은 대부분의 벤치마크에서 Gemini 3.1 Flash-Lite와 비슷한 성능을 내면서도 쿼리의 15~35%만 클라우드로 전송합니다. Cactus, Transformers, llama.cpp, MLX 등 다양한 프레임워크를 위한 간편한 퀵스타트가 제공되며, 모델은 Hugging Face에서 다운로드할 수 있습니다.