Claude Code, Codex и Cursor: 17 000 сессий показали, какие инструменты они выбирают
Which tools do Claude, Codex and Cursor choose? We measured 17k runs to find out
Armature провела крупнейший эксперимент: 16 893 сессий с тремя ИИ-агентами (Claude Code, Codex, Cursor) в 75 репозиториях. Агенты реально внедряли решения, а не просто советовали. Результат: агенты часто не соглашаются друг с другом (совпадение лишь в 42% случаев), контекст репозитория критичен (один и тот же запрос на разных языках даёт разных победителей), а упоминание бренда не гарантирует выбор — PayPal упомянут 139 раз и не выбран ни разу, Stripe побеждает в 9 из 10 случаев. Также выяснилось, что детали на страницах вендоров могут перевесить чашу весов.
Claude Code строит решения самостоятельно почти в два раза чаще, чем Codex и Cursor (19% против 10%).
- natnatenathan
Я постоянно твержу людям, что мы живём в золотой век ИИ — как в первые год-два существования Google. Дальше всё пойдёт под откос, поскольку эти компании будут давить на прибыль и привязку к себе.
- ttul
Я построил это для своей собственной компании. Armature нащупали что-то важное. Начинаешь с анализа того, какой выбор агенты делают для различных сценариев использования, а затем выясняешь, что, если вообще что-то, можно сделать, чтобы начать склонять агентов в сторону своего продукта и от конкурента. Продавать агентам — это похоже на продажи людям. Ты вливаешь деньги в маркетинг, чтобы агенты находили твоё решение на каждом углу для каждого сценария, под который ты хорошо подходишь.
- IgorPartola
Почему-то Claude Code продолжает использовать awk, sed и даже Python для базового редактирования файлов. Кто-нибудь знает, почему это изменилось с серией 5?
- thedreammachine
Я отслеживаю то же самое уже несколько месяцев. Всё в открытом доступе и доступно здесь: https://preseason.ai/
- theootzen
Какие песочницы вы сами используете для запуска этих агентов? И как вы выбрали этого провайдера?
- tuberreact
Я ценю дизайн оценки здесь. И, чёрт, то, что Claude не ищет в вебе, убивает меня, потому что он просто не предложит самую свежую информацию. В то же время есть исследования, говорящие, что Claude сильно полагается на поиск Brave, так что я не уверен, как это примирить.
- akurilin
Очень понравился "Go Full Screen" как модальный поток, на удивление интуитивно.
- screm
Привет! Дисклеймер: я сооснователь Armature (YC P26), которая продаёт сервисы роста для инструментов разработчиков. Это исследование — часть нашей более широкой работы над тем, как влиять на выбор кодинг-агентов и добиваться выбора наших продуктов. Чтобы понять, как агенты выбирают инструменты, мы измерили почти 17 тысяч сессий в среде, где агенты работают точно так же, как в реальном мире, на различных репозиториях, общаясь с разными персонажами (виб-кодер, джуниор или сеньор-инженер) в компаниях разного размера. Все результаты теперь публичны, и мы хотели бы узнать, какие выводы вас удивили больше всего. Вот несколько, которые мы нашли интересными: — Claude Code редко ищет в вебе, в то время как Codex делает это почти всегда, а Cursor находится посередине. — Кодинг-агенты чаще не соглашаются, чем соглашаются. — Некоторые игроки (LangChain, Supabase, Netlify, Paypal, Adyen) почти всегда упоминаются в своих категориях, но никогда не выбираются. — Изменение контекста репозитория может полностью изменить выбор. Если вам захочется покопаться, все трейсы там, и мы, вероятно, упустили интересные выводы, так что дайте нам знать, что вы найдёте!