LLM 해러니스가 개발의 판도를 바꾼다

저자는 '단일 개발자 프로젝트도 대규모 개발 팀 수준의 품질과 일관성을 달성할 수 있다'고 말합니다.

저처럼 한 사람이 4명 팀이 3개월 걸릴 프로젝트를 한 달 만에 만들 수 있다면, 토큰 비용이 왜 중요할까요? 이제 같은 결과를 3배 더 빨리 얻기 위해 월 500달러를 쓰는 대신, 월 40,000달러를 쓰지 않아도 됩니다. 프로젝트당 500달러 대신 120,000달러를 쓰는 셈이죠. (제 비용 40,000달러는 다른 세 사람의 인건비라고 가정)

이건 명백한 선택입니다 — 항상 최고급 모델을 쓰는 게 낫죠.

이 글을 읽으니 작업 흐름이 조금 더 좋았으면 하는 바람이 생기네요. 저는 정말로 Fable에만 의존해서 다른 모델은 전혀 안 쓰는데, 이미 매주 사용량 한도에 부딪히는 지경에 이르렀습니다. 말 그대로 빌려 쓰는 시간을 살고 있어요 — Anthropic이 8월 말에 50% 사용량 증가를 결국 무너뜨리면, 저는 분명히 작업 흐름을 바꿔야 할 겁니다. 그렇게 되면 단일 제공업체의 단일 모델에만 고집하지 않게 될 것 같아요.

문제를 깊이 생각해 보지 않으면 도메인 이해를 발전시킬 기회를 잃게 됩니다.

저는 Claude 플랜 모드를 사용해 비교적 작은 변경을 하는데, 그래도 실제로 문제를 스스로 생각하고 해결하려고 하면 미래 작업에 도움이 될 좋은 비유를 발견하게 되고, 나중에 중요하게 봐야 할 부수적인 문제들도 발견하게 됩니다.

저는 Luna에 매우 만족하고 있지만, 제 접근 방식은 '작은 변경을 여러 번' 하는 방식이라 모델이 사실상 1년 전에 한계에 도달했습니다.

(또한 '거대한 모델이 거대한 변경을 하게 두는' 접근 방식도 시도해 봤는데, 아직도 그 경험에서 심리적으로 회복 중입니다. 코드베이스는 영영 회복하지 못할지도 몰라요!)

그리고 Luna와 DSV4 Flash는 이제 거의 동급인 것 같은데, Luna가 더 빠르고 저렴한 것 같지 않나요?

지난주에 배운 것은 하네스가 기본적으로 while 루프라는 점입니다.

각 반복에서 LLM 호출을 하고, 약간의 작업(예: 도구 호출)을 수행하고, 프롬프트를 보강(추가 또는 압축 등)합니다 — 반드시 그 순서일 필요는 없고 — 계속합니다.

종료 조건이 충족될 때까지요. 그런 다음 루프를 빠져나옵니다.

오픈 가중치 모델과 자신의 추론 흔적을 사용한 LoRA 적응 학습이 핵심입니다. 대형 연구소들이 자체 모델 운영과 경쟁하려면 엄청난 과제가 있습니다 — 기본적으로 모든 사용자에게 각자의 영구 가상 머신을 제공해야 할 겁니다. 결국 그들의 유일한 진짜 해자는 추론/하드웨어 제공업체로서의 역할이 될 것 같아요. Stripe가 OpenRouter를 인수한 것은 매우 현명한 베팅이었습니다.

항상 그랬고 앞으로도 그럴 것입니다.