Cactus Hybrid - On-device models that know when they're wrong
Show HN: Cactus Hybrid: We taught Gemma 4 to know when it's wrong
Cactus Hybrid presenta modelos en el dispositivo que saben cuándo se equivocan. Cada respuesta incluye una puntuación de confianza entre 0 y 1, devuelta como datos estructurados, lo que permite responder localmente cuando la confianza es alta y enrutar consultas a modelos más grandes cuando es baja. El primer modelo, Gemma 4 E2B Hybrid, iguala a Gemini 3.1 Flash-Lite en la mayoría de los benchmarks enrutando solo el 15-35% de las consultas. Incluye ejemplos de inicio rápido para Cactus, Transformers, llama.cpp y MLX.
En Cactus, entrenamos modelos para que sepan cuándo están equivocados: incorporamos sondas dentro del checkpoint que puntúan cada respuesta con una confianza entre 0 y 1, devuelta como datos estructurados, nunca extraída del texto de la respuesta.