인텔리전스 비용 100배 하락, 무엇이 바뀌나

> 모든 것을 읽는 것이 기본이 된다. 문서당 1센트면 모델이 모든 논문을 읽을 수 있다.

우리 시대에 "모든 것을 읽는다"는 것이 "컴퓨터가 나를 대신해 읽어준다"는 뜻이라는 점이 정말 마음에 듭니다.

곧 컴퓨터가 자전거를 타고 다니고 아내와 시간을 보낼 수 있게 될 것 같아요.

저는 비용보다 속도가 더 큰 요인이 될 것이라고 생각합니다. "돈이 문제가 되지 않는" 프로젝트조차도 LLM 응답 시간 때문에 벽에 부딪히는 경우가 많습니다.

물론 하위 에이전트에서 병렬 작업을 통해 속도를 높일 수 있지만, 전통적인 계산 작업을 병렬화하는 것과 마찬가지로 이득은 점점 줄어듭니다.

사람들이 장기 실행 에이전트를 신뢰하고 멀티태스킹을 더 많이 하도록 작업 방식을 바꾸라고 말하는 것을 계속 듣습니다. 왜냐하면 많은 사용 사례에서 대화형으로 작업하기에는 너무 느리기 때문입니다. 인간이 일상 업무에서 에이전트를 여전히 많이 안내하고 상호작용할 것이라고 기대하는 세상에서는 이것이 고통스러운 일이라고 생각합니다.

제 생각에 큰 부분은 로봇 공학입니다. 오늘날 로봇은 빨래를 개는 것이 가능합니다. 항목당 약 10분이 걸립니다. 정말로요. 이미지를 처리하고 모서리를 찾고 셔츠의 모서리로 집게를 이동하고 접기 전에 펴는 데 오랜 시간이 걸립니다.

로봇은 현재 일반적으로 빙하 속도로 움직입니다. 반 통제된 환경에서 로봇이 공중제비를 하는 것을 본 적이 있을지 모르지만, 문을 여는 등의 행동이 얼마나 느린지 보십시오. 처리 시간이 주요 병목 현상입니다.

저는 작은 모델을 좋아합니다. gemma4 26/31b 모델은 제가 작업하고 있는 이상한 산문 분석 작업에서 매우 인상적이었습니다. Nova-micro는 정말 멍청하지만, 무언가를 하기에 충분히 똑똑할 때는 매우 빠릅니다. 저는 이 기술을 기반으로 한 실제 시스템에서 품질과 비용을 어디서나 평가할 수 있도록 규율을 지키려고 노력하고 있습니다. 아마도 Bedrock에서 벗어나야 할 것 같습니다. 왜냐하면 좋은 경쟁자가 될 수 있는 다른 작은 모델들이 많이 빠져 있기 때문입니다.

개인적으로 저는 여전히 LLM을 지능이 부족한 매우 고급 검색 엔진으로 봅니다. 제 생각에 LLM은 지능 비용이 아니라 데이터를 얻는 비용을 줄여줍니다. 즉, 우리는 모델에게 달성하려는 것을 말하고, 모델은 몇 초 만에 코드 형태로 올바른 데이터로 응답합니다.

그래서 '스택오버플로 프로그래머'는 LLM과 경쟁하기 어려울 것이지만, 엔지니어는 여전히 그들의 지능 때문에 필요합니다.

음, 그냥 제 개인적인 의견입니다.

100배는 과소평가인 것 같습니다. 모델 개선이 없더라도 그 정도의 감소는 보여야 합니다. TSMC의 마진, Nvidia의 마진, 그리고 OAI/Anth(추정)의 추론 마진을 보면 100배 감소의 여지가 있습니다.

현재 이 세 곳 모두 비정상적으로 높은 수준에 있습니다. 세 곳 모두에 경쟁이 올 것입니다.

제본스 역설에 대해 많은 사람들이 놓치는 것은 기초 자원에 대한 수요의 탄력성이라고 생각합니다.

섬유 산업은 제본스 역설을 겪었고, 섬유 기계가 만들어지는 동안에도 더 많은 섬유 노동자가 고용되었습니다. 세계의 값싼 의류에 대한 수요가 포화될 때까지였고, 그 후 섬유 노동자는 끝장났습니다(농업과 말에게도 동일).

소프트웨어는 현재 제본스 역설을 겪고 있지만, 소프트웨어에 대한 수요의 한계가 얼마나 높은지는 매우 불확실합니다. 웹 개발은 끝날지 모르지만, 소프트웨어 일반은 아마 무한할 것이라고 생각합니다.

지능도 아마 무한할 것입니다(현재 소프트웨어와 지능은 매우 밀접하게 연결되어 있습니다). 토큰 지출이 곡선을 따라 영원히 올라갈 가능성이 매우 높습니다.