프롬프트는 실체가 아니다
Prompts Aren't Real
LA에서 25년간 엔지니어로 일해온 Dan이 프로덕션 에이전트를 만들며 얻은 통찰을 공유한다. LLM은 대부분의 요청을 처리하지만 일부는 완전히 실패하며, 프롬프트를 추가하는 순간 에이전트의 전체 컨텍스트가 바뀌어 예측 불가능해진다. 그는 pass^k 테스트로 프롬프트를 측정하고 GEPA 같은 최적화기로 자동 개선하는 방법을 제안한다. 최적화된 프롬프트는 원본과 전혀 달라도 측정 가능하다면 문제없다고 주장한다.
프롬프트는 중요하지 않다. 적어도 많은 사람들이 생각하는 방식으로 중요하지는 않다.