AI가 만든 임시 코드로 라이브러리 품질을 검증하는 Ephemeral Testing

Daniel Lemire는 AI 에이전트가 만든 임시 애플리케이션으로 기반 라이브러리의 품질을 평가하는 Ephemeral Testing을 제안한다. 깨끗한 API와 안정적인 불변식, 유용한 오류 메시지를 갖춘 라이브러리는 에이전트가 빠르게 작동하는 코드를 만들지만, 숨겨진 상태나 불완전한 문서는 실패를 양산한다. 이 실패는 에이전트가 아니라 원래 코드에 대한 증거이며, 다양한 에이전트와 작업으로 반복 검증할 수 있다. 저자는 여러 프로젝트에 이 기법을 적용해 신규 기능을 프로토타이핑하고 있다.
실패는 에이전트가 아니라 당신의 코드에 대한 증거다.
HN 토론
31- kqr
이건 흥미로운 아이디어다. 사실상 훌륭한 소프트웨어 엔지니어가 머릿속에서 이미 하는 일을 실제 컴파일러로 하는 것과 같다.
Richard Gabriel이 쓴 글 중에 정말 오래 기억에 남는 구절이 있다:
> 추상화는 특히 재사용이나 압축을 의도할 때 신중하고 전문적으로 설계해야 한다. 그러나 추상화는 특정 맥락과 특정 목적을 위해 설계되기 때문에, 모든 목적을 예상하면서 동시에 모든 목적을 잊고 설계하기란 어렵다. 이것이야말로 잘 설계된 추상화의 특징이다.
이건 추상화에 관한 내가 가장 좋아하는 인용 중 하나다. "모든 목적을 예상하면서 동시에 모든 목적을 잊는 것"이라는 표현이 추상화 설계에 들어가는 요소를 아주 잘 요약해 준다.
에이전트 하네스에 들어간 언어 모델은 (아직) 훌륭한 소프트웨어 엔지니어와 같은 수준으로 이걸 할 수는 없지만, 토큰 생성 속도라는 장점이 있어서 엔지니어가 상상하려고 애쓰는 것들을 실제로 만들어 볼 수 있고, 그것들을 검증하는 일도 더 쉽다. 정말 멋지다!
- tshaw96
예전부터 비슷하다고 느낀 아이디어가 하나 있다:
- 우리는 아직 소프트웨어 공학을 제대로 해결하지 못했다. 어떤 설계가 미래의 요구에 잘 적응할지는 미리 알기 어렵다. 커뮤니티에는 서로 때때로 상충하는 휴리스틱 모음이 있다.
- 따라서: 모든 설계를 작성하고, 각각을 미래 요구의 무작위 트리에 대해 시뮬레이션한다.
- 미래 diff의 평균을 최소화하는 것을 고른다.
다시 말해, 소프트웨어 설계를 위한 몬테카를로 시뮬레이션이다. 이 방식은 코드 생산 비용이 0에 더 가까워진다고 가정한다는 건 분명하다.
- simonw
최근에 API 설계에 이 패턴을 꽤 많이 써 왔는데, 정말 마음에 든다.
API 설계의 큰 어려움은 설계에 확신을 가지려면 그 위에 여러 가지 다른 것들을 만들어 봐야 한다는 점이다. 그런데 아직 준비되지 않았다고 생각하는 API에 그런 노력을 다 들이는 이유가 뭘까?
코딩 에이전트를 쓰면 그런 프로토타입을 만드는 비용이 거의 0으로 떨어진다. 제안된 API 설계의 형태를 확정하기 전에 다섯 가지 방식으로 시험해 볼 수 있다.
- folkrav
내가 뭔가를 놓치고 있는 게 아니라면, 이건 회귀를 방지하는 데 도움이 되지 않는다. 결국 작성자가 이미 말했듯이 결국 통합 테스트인데, 그냥 통합 테스트를 직접 작성하면 되지 않나?
- olalonde
이건 완전히 새로운 건 아니다. 제대로 된 테스트를 작성하는 대신 백엔드 API를 테스트하려고 일회용 UI를 만들어 본 사람이 나뿐만은 아닐 테니까...