Codex CLI — самый дешёвый харнесс для GLM-5.3, но лишь 16-й для Kimi-K3
In 27,280 coding agent runs, 64% of inference spend went to runs that failed
Runta вместе с Baseten прогнали 27 280 агентских запусков на 83 млрд токенов: 22 конфигурации харнессов на пяти моделях. Выяснилось, что при смене модели стоит менять и харнесс — у каждой модели свой оптимальный по соотношению цены и проходимости инструмент. Медианный харнесс по стоимости задачи сдвигается на 11 из 22 позиций, а Codex CLI падает с первого места с GLM-5.3 на шестнадцатое с Kimi-K3.
При смене модели стоит задуматься и о смене харнесса, чтобы выжать максимум.
- seizethecheese
Заголовок здесь сбивает с толку. Они прогнали кучу комбинаций харнессов и агентов на задачах terminal bench, и 64% затрат пришлось на задачи, которые не прошли верификаторы terminal bench.
Неясно, должно ли это удивлять применительно к выбранным для бенчмарка моделям. Подозреваю, что нет, и заголовок написан, чтобы подлизаться к апвоутам про «трату денег на ИИ».
Edit: они изменили заголовок. Тот, с которым пост попал на главную, был что-то вроде «Across N agent runs 64% of agent cost went to failing runs».
Edit2: поскольку ссылка низкокачественная, я попробовал сам ответить на некоторые из этих вопросов, используя 927 тыс. прогонов агентов против 27 тыс. в этом посте: https://micjm.com/blog/on-model-harness-interactions/. Итог: взаимодействий харнесс x модель не так уж много. Похоже, у моделей OpenAI всё же есть предпочтение.
- Zigurd
Меня тянет в две стороны от производительности кодирующих агентов: во-первых, держать их на коротком поводке кажется разумным. Я не так уж часто получаю неудачные результаты. Когда я только начал использовать кодирующих агентов, это казалось не просто разумным, а необходимым, чтобы не иметь дела с кучей галлюцинированной странности. Во-вторых, однако, довольно круто небрежно махнуть рукой в определённом направлении и получить и пользовательский интерфейс, и бизнес-логику, объективно более приятные, чем я получил бы от усилий, которые вложил бы в ручное кодирование. Всякий раз, когда я осторожно использую кодирующего агента, я задаюсь вопросом, что я упускаю, не позволяя ему варить.
- cpeth
Харнессы, из тех, что я видел, — все довольно простые циклы; в них нет ничего особенного.
Как человек, который регулярно использует Claude Opus 5.5 из Claude Code и из Copilot, я бы сказал, что харнесс едва ли имеет значение для общей производительности и поведения. Opus почти идентичен в обоих харнессах. Верно и обратное: если я переключу Copilot на что-то вроде Gemini 4 Argon, это будет совершенно другое, хотя я в том же харнессе.
Просто немного анекдотических данных.
- xyzzy_plugh
Мне не нравится такая постановка.
Для данной модели лучший харнесс зависит от задачи. По мере того как модели становятся всё более способными, харнесс, похоже, начинает значить больше, чем модель. Это, возможно, спорно, но позвольте объяснить.
Большинство моих задач — в одной предметной области, с использованием конкретных инструментов и языков программирования. Я даю любой модели дня конкретные инструменты, необходимые ей для решения задачи. Я не позволяю ей выполнять произвольные скрипты или программы (хотя она может, если очень постарается). Я даю ей ограниченное число вызовов и передаю эту информацию обратно ей (бюджет). Я позволяю ей передавать работу другим моделям, используя тот же харнесс. Я даю всему бюджет, который отслеживается и принудительно соблюдается, но он не настоящий и пополняется в разное время.
Этот индивидуальный, специализированный харнесс абсолютно уделывает любой другой мейнстримный харнесс для этих задач. Значительно быстрее, дешевле, правильнее.
Но я не могу построить мобильное приложение с этим харнессом или снять фильм.
Эти тесты делают то же самое. Они измеряют несколько сценариев. Я не могу легко сказать, соответствуют ли они моим потребностям или нет. По моему опыту, очень немногие из них соответствуют.
Могут ли эти харнессы общего назначения решить мои проблемы? Да, если я готов позволить модели крутиться долго и сжигать кучу токенов. Но это не кажется устойчивой практикой.
Может, я слишком рано, может, преждевременно оптимизировать харнесс таким образом, но я трачу меньше токенов, чем мои коллеги, и делаю гораздо больше, и это важно.
- bisonbear
Это крутые результаты, и я рад, что токены вкладываются в оценку возможностей харнессов.
Однако я сомневаюсь в корреляции между прохождением/непрохождением в оценках, которые являются бинарными 0/1, определяемыми тестами, и реальным использованием, где пользователи могут направлять, проводить ревью кода и заботятся не только о прохождении тестов.
Я писал о проблеме определения «успеха» для кодирующих агентов, и многое сводится к тому, что агенты могут писать глупый код, который проходит тесты, и писать умный код, который тесты не проходит, и нам нужно перейти к вознаграждению качества кода и соответствия намерению, а не просто сигналу на отложенных тестах (что всё ещё важно!)
- alok-g
Спрашиваю искренне: почему Kilo code (https://kilo.ai) отсутствует в этом и большинстве подобных анализов? О нём также мало говорят на HN в целом.
- zodwick
Интересно, есть ли коррелятивное улучшение между собственным харнессом и моделью одной и той же лаборатории.
Например, я помню, что у Codex был другой формат номеров строк, чем у CC, и каждому другому харнессу приходилось иметь инструмент с двумя форматами, чтобы максимизировать производительность.
Интересно, существует ли ещё такое или теперь они проводят RL по всем возможным комбинациям
- ford
Чтобы было ясно — «Failed» здесь означает «Не выполнил все критерии прохождения на данной задаче бенчмарка», а не «Испытал сбой во время выполнения».