에이전트에게 '이 forward pass를 최대한 빠르게'라고 말했더니, 전문가 전략보다 성능이 좋았다
Make this forward pass as fast as possible
ML 컴파일러의 역할이 에이전트 중심으로 재편되고 있다. TVM은 Lean으로 IR을 형식화해 저렴한 검증을 제공하고, Together의 TKCC는 비용 모델로 병렬화 후보를 추려 탐색 공간을 줄인다. 특히 Together의 실험에서 지식 허브나 전문가 전략을 제공하면 오히려 속도 향상이 25~31% 감소했고, 단순히 '이 forward pass를 최대한 빠르게'라고 프롬프트하는 것이 더 나은 결과를 냈다. 컴파일러는 사라지는 게 아니라 분해되고 있다.
지식 허브를 제공하자 동일한 최적화 시간 대비 속도 향상이 25~31% 낮아졌다. 전문가가 작성한 전략으로 시드하는 것은 문자 그대로 '이 forward pass를 최대한 빠르게'라고 프롬프트하는 것에 패배했다.