토큰이 바닥났을 때, 개발자는 무엇을 해야 하나
Is the industry ready for tokens-constrained work?
컨설팅 회사에서 일하는 개발자가 일일 토큰 한도를 소진한 후 매니저에게 추가 토큰을 요청했지만 거절당한 사연이 화제다. 이 글은 병렬로 실행되는 에이전트의 작업을 중간에 이어받는 것이 얼마나 비현실적인지, 그리고 토큰 제한이 단순한 비용 문제를 넘어 개발자의 생산성과 회사의 인센티브 구조에 어떤 영향을 미치는지 탐구한다. Uber가 4월에 연간 토큰 예산을 모두 소진한 사례를 언급하며, 1980년대의 메모리 제약처럼 이제는 토큰 제약과 싸워야 한다고 주장한다.
1980년대에 프로그램을 몇 킬로바이트에 맞추기 위해 싸웠다면, 이제는 감당할 수 있는 토큰 안에 가장 유용한 LLM 작업을 맞추기 위해 싸워야 한다.