LLM의 비결정성은 문제가 아니다
Non-Determinism Doesn't Matter
LLM 기반 개발에서 비결정적 출력은 치명적 한계로 여겨졌다. 하지만 결과는 정확해야 해도 그 결과에 도달하는 방식은 결정적일 필요가 없다. LLM은 코드가 아니라 시스템의 행위자이며, 확률적 출력을 결정적 도구로 바꾸면 에이전트가 정밀하고 테스트된 작업을 수행할 수 있다. 이는 토큰도 절약한다.
결과는 정확해야 하지만, 거기에 도달하는 올바른 방법은 하나가 아니다. 정확한 결과를 얻는 수단이 결정적일 필요는 없다!