Jev с подстраховкой от Opus достигает точности Opus вчетверо дешевле
A Jev that can ask Opus for help gives Opus accuracy at 4x lower cost
Hightouch проверила, справятся ли LLM с оценкой качества identity resolution — поиска лишних склеек записей в одного человека. На простом бенчмарке Luna обошла Jev, но на сложных случаях разрыв исчез. Ключевое отличие: Jev ошибается с низкой уверенностью, а Luna — с высокой. Гибридная схема Jev + Opus, где дорогая модель подключается только к сомнительным случаям, даёт точность Opus при затратах более чем в 4 раза ниже.
Модели решений до 90 раз дешевле и более чем в 10 раз быстрее из коробки: они стоят от $0,5 до $0,10 за 1000 идентичностей и отвечают примерно за 0,15 секунды, но на сложных бенчмарках отстают от Opus по точности примерно на 6 процентных пунктов.