GPT-6 Astra находит на 20% больше багов в кросс-файловых ревью, чем Sol
GPT-6 Astra in code review: Gains, privacy, and cost
CodeRabbit протестировал OpenAI GPT-6 Astra на реальных задачах ревью кода. Astra поймала примерно на 4% больше исправимых багов, чем GPT-5.6 Sol, и на 22% больше, чем Opus 5. На сложных кросс-файловых ревью разрыв вырос до 20% и 33% соответственно. Авторы связывают успех с умением модели связывать разрозненную информацию. Однако цена высока: $10 за миллион входных токенов и $50 за выходные — в 2,5 раза дороже Sol. В статье также рассказано, как Astra использовалась для создания игры NIGHTSHIFT, и обсуждаются вопросы конфиденциальности данных.
Самый интересный прогресс Astra заключается в умении связывать нужную информацию.
- eyalitki
Сравнение проводилось в рамках инструмента AI-ревью кода coderabbit, что, к сожалению, делает его практически нерелевантным. Мой личный опыт как инженера-программиста и бывшего исследователя безопасности, занимавшегося ручным аудитом кода, показывает, что этот инструмент ревью кода даёт настолько плохие результаты, что не стоит того «шума» и трения, которые он создаёт для разработчиков во время CI/ревью кода.
- sdeframond
Как вы, ребята, ревьюите код, сгенерированный ИИ? В нашей команде фронтенд-работа «вайб-кодится» продакт-оунером и мержится как есть, без ревью. Бэкенд пишут разработчики, используя ИИ, но более медленным и контролируемым способом. Недавно наш PO решил попробовать свои силы в «вайб-кодинге» бэкенда. Должен сказать, он умный парень, почти технический, но не совсем разработчик. Нам только что передали серию наложенных друг на друга PR, суммарно около 15k строк кода на бэкенде. Мы не совсем понимаем, что с этим делать. Я знаю, что мы не единственные в такой ситуации. Каков ваш опыт и контекст? Что вы делаете? Что у вас работает, а что нет?
- ramon156
Похоже, и OpenAI, и Anthropic выпустили модель, которая немного лучше, но стоит примерно в 2 раза дороже предыдущей итерации. Интересный ход.
- SneakyZero
Astra, похоже, действительно медленная. Возможно, она предназначена для чтения большего контекста. Но, судя по моему опыту, она определённо медленнее, чем 5.6 sol, при выполнении тех же задач.
- dude250711
Учитывая, что Fable — это модель класса Sol, не следует ли сравнивать Astra с Mythos в этих тестах?