Un Jev que pide ayuda a Opus logra la precisión de Opus a 4 veces menos costo

A Jev that can ask Opus for help gives Opus accuracy at 4x lower cost

Hightouch probó si los LLM y los modelos de decisión pueden evaluar la resolución de identidad, una tarea difícil de medir por la falta de una verdad de referencia. En su benchmark, Jev y Luna alcanzaron entre 88,8% y 97,3% de precisión, pero un modelo híbrido que combina Jev con Opus igualó la precisión de vanguardia con un costo más de 4 veces menor. La clave: la confianza de Jev está mejor calibrada que la de Luna, lo que permite derivar solo los casos dudosos a un modelo mayor.