AI 루프가 수렴하는 조건: a16z가 말하는 '언제 멈출지 아는 법'
Knowing When to Stop: The Art of Making a Loop Converge
a16z가 AI 에이전트의 루프 엔지니어링을 분석한다. 루프는 검증자(verifier)에 의해서만 수렴하며, 코드는 편집 가능하고 검증 가능해 수렴하기 쉽지만, 개방형 이미지 생성은 어렵다. 수렴을 위한 네 가지 조건(목표 상태, 관찰 가능한 현재 상태, 정밀한 변경 수단, 정지 규칙)을 제시하고, 루프가 스택에 맞춰져 있어 일반화되지 않음을 지적한다. 또한 테스트-타임 컴퓨팅의 수익 체감을 보여주며, 루프가 경제적으로 수렴하지 않을 수 있음을 강조한다.
루프 엔지니어링은 에이전트가 재시도하게 만드는 기술이 아니라, 각 사이클이 현재 상태와 원하는 상태 사이의 거리를 줄이게 만드는 기술이다. 루프는 아직 방향이 아니다.
- ausbah
이 기사를 완전히 무시하려는 건 아니에요. 검증에 관한 논의에서 얻은 가치도 있었으니까요.
하지만 토큰을 만드는 회사에 투자하는 VC가 'openclaw'의 '천재'를 인용하면서 이 글을 썼다는 걸 보면, 이건 사람들이 LLM 슬롯머신에 무작정 토큰을 쓰게 하려는 과도한 엔지니어링의 사이비 종교(psyop)라고 생각해요.
- Sha1rholder
이 기사에 대한 내 감정을 표현할 예의 바른 말을 찾지 못하겠다.
- intended
기억나는 A16z 기사 중에는 읽고 나서 더 나아진 기분이 들었던 것도 있었는데, 이건... 관리자들의 허튼소리와 공학 분야에 남아 있는 통찰을 분리하는 것조차 어렵네요.
무작위 구간에서 클로드가 말하는 것처럼 느껴지는 것도 문제를 악화시키죠. 그런 부분은 제거할수록 글이 나아지는 것 같아요.
주술처럼 들리는 진술과 뻔한 사실의 표현("좋은 것이 무엇인지 인코딩할 방법이 필요하다")이 결합된 것은 적어도 실망스럽습니다.
한순간은 이 글이 실제로는 전복적이었던 건 아닐까 생각했어요. 루프가 경제적 한계에 의해 제약될 필요가 있다고 말함으로써 합리성을 되찾으려는 시도였던 건 아닐까 하고요.
> "빠진 조각은 지루하지만 필수적인 것입니다: 반복당 비용, 달러당 진전, 루프가 실행되는 동안 누군가가 볼 수 있는 곡선."
엔지니어링이 있던 자리에 이제 종교가 서 있는 것 같습니다. 측정과 명확성 대신 의견과 입장만 있을 뿐이죠.