Лучший AI-агент решает лишь 38,8% задач на приватных корпоративных кодовых базах
Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases
Specific Labs выпустила бенчмарк Real-SWE, оценивающий frontier-модели на приватных production-кодовых базах реальных компаний. Задачи взяты из закрытых репозиториев: биллинг, налоги, миграции — работа с бизнес-последствиями. Лидер Fable 5.1 с Claude Code показал 38,8% resolution rate, GPT-6 Astra — 33,8%, Gemini 3.8 Flash — 31,2%. 71,4% коротких rollout'ов провалились. Самая частая ошибка — пропущенные требования.
99% токенов в реальных предприятиях скрыты от frontier-моделей.
- springtimesun
Я построил ровно такую штуку на своих собственных кодовых базах. Настройка не такая уж сложная: разделяешь историю git до момента непосредственно перед изменением, изолируешь агента в песочнице со всем, что ему понадобится на этом коммите, и слегка правишь правила, чтобы он не лез искать что-то за пределами песочницы. Потом ему дают тот же промпт (обычно это тикет, с которого началась работа), и результат оценивают по принятому PR.
Больше всего времени уходит на поиск примеров. В моём реальном процессе разработки редко бывает тикет -> PR -> мерж, всё скачет туда-сюда гораздо больше. Так что, хотя заявленная цель — уйти от одноразовых прогонов, по сути это и есть та среда, которую нужно создать, иначе придётся тестировать какие-то другие конкретные исходы (например, агент остановился и задал вопрос, когда понял, что x).
Это требует времени, но я бы очень рекомендовал. Теперь я могу прогонять новые открытые модели через эти батареи тестов и за пару дней видеть, как они соотносятся с прошлыми (я запускаю их локально, это медленно). Это переводит моё ощущение «модель x хороша в y и плоха в z» с уровня вайбов на более качественную эвристику (они всё ещё работают при temp 1, эвристика — правильный способ думать об исходах, имхо). Это привязывает всё к твоему реальному коду и предметной области.
Мой вывод из тестирования: в кодовых базах на Rails или фронтенде большинство моделей, которые я тестирую, компетентны, и с человеком в цикле они достигли бы своей цели — получить мержабельный PR. Они не так хороши, как Claude, и поскольку я плачу по субсидированным тарифам через подписку, Claude всё ещё получает первый проход. Их очень стоит подключать в качестве ревьюера […]
- glub
Удивлён, что Sol и Astra лидируют по метрике «Непроверенное предположение», а Fable там лучше.
Я использую Fable как основную модель, а Sol как советника, который следит за каждым ходом. Fable любит разбрасываться предположениями, которые он не проверял и которые просто ложны, а Sol всегда идёт и реально их проверяет, а потом предупреждает Fable, что тот делает допущения.
Я пробовал перевернуть эту пару, сделав Fable советником. Он просто сидит и говорит «звучит неплохо»
- prometheus1992
Это значит, что в итоге они поделились этими приватными кодовыми базами с OAI, Anthropic и т.д.? Ещё цифра ~30% совпадает с моим опытом. Я думал, что схожу с ума, ожидая от моделей слишком многого, но они всё ещё плохи, включая astra. Сегодня утром она накосячила с чем-то довольно тривиальным при исправлении проблемы, и я был в шоке. И ещё: бенчмарки сейчас мало что значат.
- lmeyerov
Моя интуиция подсказывает, что многие из лучших и крупнейших «приватных» кодовых баз, по крайней мере в смысле claude code и codex... на данный момент на самом деле не приватны.
Один из уроков запуска botsbench.com, в немного другой области, — измерять загрязнение моделей каждый раз.
- jstummbillig
Я пытаюсь оценить, разумна ли моя реакция на то, что GPT-5.6 Sol оказался последним в этом списке, или она в основном эмоциональна, и понимаю, что не могу этого определить.
- skhameneh
Кое-что здесь кажется разумным, но другое просто не имеет смысла, и отсутствуют crucial детали (например, уровни рассуждений и какой harness использовался).
Например, я обнаружил, что Kimi K3 использует больше токенов, чем некоторые другие модели, из-за чего он обходится вдвое дороже чисто из-за объёма токенов. Этот опыт совпадает с бенчмарками ArtificialAnalysis, но не с этими.
Есть и ряд других сравнений здесь, которые не совпадают с моим опытом или другими бенчмарками. По многим отзывам, это выброс.
Я мог бы объяснить различия используемыми harness или чем-то вроде уровней рассуждений, но ни одна из этих деталей не опубликована.
Хотя это кажется интересным, я не могу воспринимать это серьёзно.
Поправка: harness перечислены в столбце, я это пропустил. Остальные мои сомнения и вопросы остаются, неясно, почему некоторые их результаты — выброс, не совпадающий с моим опытом, бенчмарками ArtificalAnalysis или опытом некоторых других комментаторов.
- matheusmoreira
Я использовал похожую методологию. Ревью кода — моё самое частое действие, так что я использовал результаты слепого ревью кода для сравнения передовых AI.
Даже опубликовал об этом статью:
https://www.matheusmoreira.com/articles/code-reviewing-lone-...
В отличие от TFA, код lone lisp публичен. Полагаю, модели могли обучаться на моей кодовой базе. И всё же, думаю, результаты получились интересные.
На это ушли месяцы и куча-куча токенов, так что я не собираюсь повторять это исследование с выходом новых моделей. Но оно закрепило все мои будущие ожидания. Насколько я понимаю, OpenAI побеждает, и их программа по кибербезопасности — единственная оставшаяся болевая точка.
- visiondude
это самый близкий бенчмарк к моему опыту использования комбо модель+harness. Astra, как бы хороша ни была, для меня немного уступает Fable 5.1 на крупной работе над фичами (хотя комментирует код намного лучше). В частности, Fable умеет лучше оценивать приоритеты, чем Astra (то есть Astra иногда делает то, что не стоит усилий, и упускает явно важное, особенно в возможных сценариях раздувания — fable ловит «это работает для x объёма данных, но если мы запустим это на y, где y гораздо больше x, мы столкнёмся с проблемами). Gemini 3.8 недооценён, используйте Google Stitch, чтобы увидеть его в деле, если вы ещё не пробовали Agy.