В команде Claude Code около 90% кода пишет и проверяет сам Claude
How the Claude Code team thinks about verification
В команде Claude Code примерно 90% кода пишет и ревьюит Claude. Чтобы доверять агенту, ему нужны способы проверять свою работу: без циклов верификации можно запускать лишь пару Claudes параллельно, с ними — десятки и сотни. Внутренние тесты показали, что отдельный оценщик, сверяющий результат с рубрикой, повышает успех задач до 10 пунктов. Команда делится, какие тесты стоит инвестировать и как устроена их собственная проверка изменений.
Если изменение может менять проверку, которая его судит, то проверка сломана.
- OtherShrezzing
Эта статья ощущается как результат наличия неограниченного количества токенов в вашем распоряжении. В ней есть очень дорогие практики, тогда как почти бесплатные практики дали бы тот же или лучший результат.
В середине есть длинный раздел, где статья описывает проверку каждого изменения через файлы навыков и «попросить Claude использовать инструмент chrome-for-Claude» при проверке, не внесли ли изменения регрессии.
Но уже существуют инструменты, которые делают это без траты токенов. Playwright обеспечит равное качество, но детерминированные результаты при одинаковых попытках проверки. Он пишется один раз и используется многократно, так что предельные затраты близки к нулю.
- tshaddox
Считается ли Claude Code сегодня надёжным программным продуктом?
Я перестал использовать его как основной инструмент около 9 месяцев назад, и в то время он казался очень тяжёлым/неуклюжим и, похоже, имел очень регулярные баги и ломающие UI изменения.
Буду рад услышать, что он стал лучше!
- girvo
> С ними можно запускать десятки или сотни параллельно.
Я уже трачу $2k в месяц на токены всего с одним-двумя агентами. Как они ожидают, что я это сделаю?
- koolba
> Никто не может прочитать каждое изменение, поэтому мы используем сбои как один из способов решить, что нужно человеку.
Может ли или должен ли человек просматривать каждый дифф — это осознанное решение на уровне проекта. Я ещё не видел проекта, где это неосуществимо. Хитрость в том, чтобы разбить вещи на достаточно маленькие куски, которые вы можете просмотреть. Точно так же, как поступил бы любой, если бы делал такие изменения вручную. Никто в здравом уме не выполняет немеханические изменения в сотнях файлов.
- Narann
Чем больше я читаю такие статьи, тем больше понимаю, что Claude хорош для прототипирования процессов, но вам нужно «запечь» процесс плоским кодом/скриптом/организацией, чтобы снизить затраты.
Будущее ИИ на самом деле будет в том, чтобы легко прототипировать в больших масштабах, ещё больше похоже на то, как Python был языком прототипирования.
- asmvolatile
Команда Claude Code ни хрена не думает. Взаимодействие с командами Anthropic ясно показывает, что никто в этой компании не имеет ни малейшего представления о том, как работает их программное обеспечение.
- FartyMcFarter
> С нестабильными тестами поступают так же. Claude не может их пропустить, добавить sleep или повторять попытки, пока они не пройдут. Если он не может найти первопричину, он удаляет тест и записывает, почему.
Если тесты герметичны, вы всегда должны быть в состоянии найти первопричину (путём бисекции, чтобы определить, когда тест стал нестабильным).
Если тесты не герметичны, всё равно должно быть возможно определить зависимость, которая делает их нестабильными, и использовать это как обоснование, если всё ещё имеет смысл удалить тест.
- hliyan
По моему мнению, результат стохастического процесса можно по-настоящему проверить только через детерминированный процесс. Тесты уже делают это для функциональной точности. Линтеры могут делать это для кода на уровне строк, если рассматривать код как текст. Но в настоящее время не существует такого метода детерминированной проверки для структуры всей программы или, что более важно, жизнеспособности архитектуры, когда вы добавляете связность и IOPS.
Возможно, нам нужен уровень выше линтеров: инструмент, который строит абстрактное синтаксическое дерево и проверяет его различные ветви на соответствие детерминированным правилам.
Как это сделать для архитектуры: не уверен.