Claude Code 팀은 왜 E2E 테스트에 집중할까
How the Claude Code team thinks about verification
Claude Code 팀은 전체 코드의 약 90%를 Claude가 작성하고 리뷰한다. 검증 루프가 있어야 여러 에이전트를 병렬로 돌릴 수 있으며, 별도 채점자가 루브릭으로 확인하면 성공률이 최대 10포인트 올라간다. 팀은 E2E·속성·차등 테스트에 투자하고, 변경 사항을 실제로 실행해 검증하며, 실패한 테스트만 사람에게 넘긴다. 검사 코드는 변경 사항이 스스로 수정할 수 없게 하고, 새 게이트는 관찰 모드부터 시작한다.
변경 사항이 자신을 판정하는 검사를 수정할 수 있다면, 그 검사는 이미 망가진 것이다.
HN 토론
178- OtherShrezzing
이 글은 토큰을 무제한으로 쓸 수 있는 상황에서 나온 결과물처럼 느껴진다. 거의 공짜로 할 수 있는 방법으로도 같거나 더 나은 결과를 낼 수 있는데도, 아주 비용이 많이 드는 관행들이 들어 있다.
글 중간에 변경 사항이 회귀를 일으켰는지 확인할 때 스킬 파일을 통해 변경별 검증을 하고 “Claude에게 chrome-for-Claude 도구를 쓰라고 요청”하는 방법을 설명하는 긴 섹션이 있다.
하지만 이미 토큰을 쓰지 않고도 이걸 해주는 도구들이 있다. Playwright는 같은 검증 시도를 반복해도 동일한 품질과 결정론적 결과를 낼 것이다. 한 번 작성해 여러 번 쓰는 방식이라 한계 비용이 거의 0에 가깝다.
- tshaddox
요즘 Claude Code가 신뢰할 만한 소프트웨어라고 여겨지나?
나는 약 9개월 전에 일상적으로 쓰는 도구로 쓰기를 그만뒀는데, 그때는 매우 무겁고 엉성하게 느껴졌고 꽤 자주 버그가 생기고 UI가 깨지는 변경이 있었다.
좋아졌다는 얘기를 들으면 기쁠 것 같다!
- girvo
> 그것들을 쓰면 수십 또는 수백 개를 병렬로 실행할 수 있다.
나는 이미 에이전트 한두 개만으로도 매달 토큰에 2천 달러를 쓰고 있다. 어떻게 그렇게 하라는 건지?
- koolba
> 아무도 모든 변경을 읽을 수 없으니, 실패를 사람이 봐야 할 것을 결정하는 한 가지 방법으로 쓴다.
사람이 모든 diff를 검토할 수 있는지, 또는 해야 하는지는 프로젝트 차원의 의식적인 결정이다. 나는 그것이 불가능한 프로젝트를 아직 보지 못했다. 비결은 검토할 수 있을 만큼 작은 조각으로 나누는 것이다. 마치 그러한 변경을 수동으로 할 때처럼. 제정신인 사람이라면 수백 개 파일에 걸친 비기계적 변경을 수행하지 않는다.
- Narann
이런 글을 읽을수록 Claude는 프로세스 프로토타이핑에는 좋지만, 비용을 줄이려면 프로세스를 평범한 코드/스크립트/조직으로 "구워"야 한다는 생각이 더 든다.
AI의 미래는 실제로 쉽게 대규모로 프로토타이핑하는 것일 텐데, 마치 Python이 프로토타입 언어였던 것처럼 더욱 그럴 것이다.
- asmvolatile
Claude Code 팀은 아무것도 생각하지 않는다. Anthropic 팀과 상호작용해 보면 그 회사에는 자기 소프트웨어가 어떻게 동작하는지 아는 사람이 아무도 없다는 게 분명해진다.
- FartyMcFarter
> 불안정한 테스트도 같은 처리를 받는다. Claude는 테스트를 건너뛰거나, sleep을 추가하거나, 통과할 때까지 재시도할 수 없다. 근본 원인을 찾을 수 없으면 테스트를 삭제하고 그 이유를 적는다.
테스트가 허메틱하다면, 항상 근본 원인을 찾을 수 있어야 한다(테스트가 언제 불안정해졌는지 이분 탐색으로 확인).
테스트가 허메틱하지 않더라도, 불안정하게 만드는 의존성을 식별할 수 있어야 하고, 그래도 테스트를 삭제하는 게 합리적이라면 그 의존성을 근거로 삼을 수 있어야 한다.
- hliyan
내 생각에 확률적 프로세스의 출력은 결정론적 프로세스를 통해서만 진정으로 검증할 수 있다. 테스트는 이미 기능적 정확성에 대해 그렇게 한다. 린터는 코드를 텍스트로 취급하여 줄 단위 코드에 대해 그렇게 할 수 있다. 하지만 전체 프로그램의 구조, 더 중요하게는 연결성과 IOPS를 고려했을 때 아키텍처의 실행 가능성에 대한 결정론적 검증 방법은 현재 없다.
어쩌면 린터 위의 단계가 필요할지도 모른다. 추상 구문 트리를 구성하고 그 다양한 분기를 결정론적 규칙에 따라 검증하는 도구 말이다.
아키텍처에 대해 어떻게 해야 할지는 잘 모르겠다.