Claude Codeチームは「検証」をどう設計しているか——約9割のコードをClaudeが書く現場の流儀
How the Claude Code team thinks about verification
Claude Codeチームは自社コードの約90%をClaudeが書き、レビューもClaudeが行う。検証ループこそがエージェントへの委任を増やす土台で、これがなければ同時に動かせるClaudeは1〜2体だが、あれば数十〜数百体を並列で走らせられる。E2Eテスト、プロパティテスト、差分テストの3種に投資すべきとし、verifyスキルによる実機での煙テスト、失敗3回で人間にエスカレーション、変更が自分のチェックを書き換えられない仕組みなど、チームの具体的な運用を公開する。
変更が自分を判定するチェックを書き換えられるなら、そのチェックは壊れている。
HNでの議論
190- OtherShrezzing
この記事は、無制限のトークンを自由に使える環境の産物のように感じる。非常にコストのかかるプラクティスがいくつかあるが、ほぼ無料のプラクティスでも同じかそれ以上の結果が得られるだろう。
記事の中盤には、変更によってリグレッションが発生していないか確認する際に、スキルファイルを使った変更ごとの検証や「Claudeにchrome-for-Claudeツールを使うよう依頼する」方法について長々と説明されているセクションがある。
しかし、トークンを消費せずにこれを実現するツールはすでに存在する。Playwrightなら同じ検証試行に対して同等の品質を、しかも決定論的な結果で達成できる。一度書けば何度も使えるので、限界費用はほぼゼロだ。
- tshaddox
最近のClaude Codeは信頼できるソフトウェアと見なされているのだろうか?
9ヶ月ほど前に日常使いをやめたが、その当時は非常に重く/ぎこちなく感じられ、かなり頻繁にバグやUIの破壊的変更があるように思えた。
良くなったと聞ければ嬉しい!
- girvo
> それらを使えば、何十、何百もの並列実行が可能です。
すでにエージェント1〜2個だけで月2000ドルのトークン代を費やしているんだが。どうやってやれと?
- koolba
> すべての変更を読むことなど誰にもできないので、失敗を人間の出番を決める一つの方法として使っています。
人間がすべての差分をレビューできるか、すべきかは、プロジェクトレベルの意識的な決定だ。それが不可能なプロジェクトはまだ見たことがない。コツは、レビューできる程度に小さな単位に物事を分割することだ。手作業でそうした変更を行う場合と同じように。正気な人間なら、何百ものファイルに及ぶ非機械的な変更を実行したりはしない。
- Narann
こういう記事を読むたびに思うのは、Claudeはプロセスのプロトタイピングには向いているが、コストを下げるにはそのプロセスをフラットなコード/スクリプト/組織で「焼き固める」必要があるということだ。
AIの未来は、実際には大規模なプロトタイピングを容易に行えること、つまりPythonがプロトタイプ言語であった以上のものになるだろう。
- asmvolatile
Claude Codeチームは何も考えていない。Anthropicのチームとやり取りすれば、あの会社には自社ソフトウェアがどう動くのか全く分かっている人がいないことが明らかになる。
- FartyMcFarter
> フレーキーなテストも同じ扱いだ。Claudeはテストをスキップしたり、スリープを追加したり、合格するまでリトライしたりできない。根本原因が見つからなければ、テストを削除し、その理由を書き留める。
テストが密閉的(hermetic)であれば、常に根本原因を見つけられるはずだ(テストがフレーキーになった時点を二分探索で特定できる)。
テストが密閉的でなくても、フレーキーにしている依存関係を特定し、それでもテスト削除が妥当ならその根拠として使うことは可能だろう。
- hliyan
私の意見では、確率的プロセスの出力は決定論的プロセスによってのみ真に検証できる。テストはすでに機能的正確性についてこれを実現している。リンターは行レベルのコードについて、コードをテキストとして扱うことでこれを実現できる。しかし現在、プログラム全体の構造、さらに重要なのは接続性やIOPSを考慮したアーキテクチャの実行可能性について、このような決定論的検証の方法は存在しない。
おそらくリンターの上のレイヤーが必要だ。抽象構文木を構築し、そのさまざまな分岐を決定論的ルールに照らして検証するツールだ。
アーキテクチャについてどうやるかは、わからない。