작은 모델의 시대가 왔다

> 제가 이야기한 몇몇 투자자들이 언급한 것: '소비자 AI 회사가 더 많이 보이지 않는 것이 이상하다. 왜 그럴까?'

소비자 AI 회사가 대체 무엇일까요? 최첨단 연구소들은 그들이 모든 것을 삼킬 것이라고 선언했고 그들은 유리한 출발을 하고 있습니다.

최선의 방법은 반대 입장을 취하여 사람들이 실제로 원하거나 필요로 하는 제품과 서비스를 만드는 것입니다. AI 기반이거나 증강되는 것은 괜찮지만, 소비자 회사는 특정 소비자의 필요와 욕구를 이해하고 그것을 추구하는 어려운 부분을 수행합니다.

로컬에서 실행되는 소규모 모델은 집중된 작업에서 항상 클라우드 지연 시간을 능가합니다. 더 저렴하고, 결정적이며, 배포가 매우 간단합니다.

> Peter는 그의 다양한 스타트업에서 두 종류의 작업을 보았습니다:

> 1. "IQ 180" 작업. 어떤 미친 과학자 천재가 당신이 생각지도 못한 엄청난 해결책을 내놓습니다.

> 2. "토큰 뱉는 기계" 작업. 매우 반응이 빠르고, 수십 개의 전선에서 공을 앞으로 밀어붙입니다.

pg의 Maker's Schedule, Manager's Schedule https://www.paulgraham.com/makersschedule.html 과 흥미로운 비교입니다.

저는 모델이 이 역할 중 어떤 것을 채울지뿐만 아니라, 우리가 선호하는 모드에 있을 수 있도록 어떻게 우리를 강화할지도 궁금합니다.

우리가 '바닥에 여지가 있는' 전략을 보게 될 것이라는 것은 이치에 맞습니다. 현재, 큰 파라미터 수는 세계 지식, 언어 능력(언어의 뉘앙스와 열린 어휘 때문에 고차원적임), 그리고 추론 기본 요소의 기금처럼 보이며, 일반적인 믿음은 후자가 모델에서 가장 적은 공간을 차지한다는 것입니다.

세계 지식이 불필요하거나 심지어 부정적인 많은 응용 프로그램이 있으며, 약간의 언어 능력만 필요한 경우가 많습니다. 그런 곳에서는 소규모 모델을 더 지능적으로 사용하는 것이 대규모 모델을 단순하게 사용하는 것보다 더 나은 결과를 낼 수 있습니다.

프론티어 모델을 쫓는 데 중독된 사람들이 이제서야 소규모 모델이 대부분의 작업에 '충분히 좋아졌다'는 것을 알아차리는 것이 꽤 웃깁니다. 우화적인 규모의 비용 계정이 없는 우리는 꽤 오래 전에 이것을 알아차렸습니다.

우리는 몇 가지 OpenAI 기반 애플리케이션을 테스트하고 개발해 왔습니다. 비교적 간단한 것들입니다. 몇 달 전에 API 크레딧을 10달러 충전했습니다. 방금 확인해 보니, 그 기간 동안 약 61센트를 사용했습니다. 지난 달에 약 126개의 요청이 있었습니다. 그것은 우리가 테스트하는 것일 뿐이지만, 이 물건이 비교적 저렴하다는 것을 보여줍니다. 요청이 많지 않은 이유는 대부분의 것이 첫 시도에 거의 작동하기 때문입니다. 이것은 만들기 어렵지 않습니다.

저는 AI가 애플리케이션에서 과소 활용되는 능력이라고 생각합니다. 사람들은 에이전트를 구축하기 위한 큰 계획을 세웁니다. 그러나 '사용자가 입력한 상징적인 이름을 고려한 색상 팔레트를 계산하는' 간단한 버튼조차도 빠르게 돌아오고 많은 추론을 필요로 하지 않는 간단한 프롬프트입니다. 우리는 Luna와 함께 그것을 사용하고 더 많은 컨텍스트를 제공합니다.

이미지 기반의 것들은 더 비싸지만 여전히 상당히 합리적입니다. 우리는 이미지에서 작동하는 Sol로 몇 가지 작업을 합니다. 빠르지는 않지만 결과는 기다릴 가치가 있습니다. 이것들은 사용자 시간을 절약하고 약간 마법처럼 느껴지는 기능입니다. 그들은 버튼을 클릭하고 20-30초 기다리면 마법이 일어납니다. 반 시간 동안 클릭하는 것보다 낫습니다.

로컬 모델 호스팅은 더 적은 지능에 더 높은 비용과 오버헤드를 강요할 것입니다. 그것은 정말로 많은 토큰을 사용하거나 다른 이유(예: 데이터 보안)로 필요하지 않는 한 좋은 절충안이 아닙니다. 그러나 그렇지 않으면 결국 활용도가 낮은 GPU 용량에 비용을 지불하게 됩니다.

제 친구가 오늘 일찍 저에게 말했는데, 그들의 직장(코딩 샵)에서 비용 문제로 '다운그레이드'를 논의했다고 합니다. 많은 사람들이 열등한 기술을 강요받고 싶지 않아 매우 불만이었습니다. 그들의 말이 일리가 있나요? Sol이 추가 비용만큼 가치가 있나요? 특히 노력 수준을 높이면?

저는 앞으로 5년에서 10년 동안 조심스럽게 기대하고 있습니다. 이러한 AI 칩이 엄청나게 빨라지고 RAM 용량이 증가함에 따라 오늘날의 ATMEL 마이크로프로세서와 같은 칩이 단일 보드 컴퓨터에 들어가고 소규모 모델을 로컬에서 실행할 수 있게 되어 모든 기기에 로컬 AI가 있고 진정으로 지능적인 집을 가질 수 있게 될 것입니다. 물론 모든 것을 클라우드에 넣으려는 거대한 압력이 있을 것이지만, 우리가 이 기술을 집으로 가져올 기회가 있을지도 모릅니다. 사람들이 AI 홈 자동화에 필요한 24시간 감시에 굴복할 것이라고 상상하기 어렵기 때문입니다 (물론 내가 틀렸을 수도 있습니다). 흥미로운 시대입니다.

제 꿈 중 하나는 RTX 5060과 같은 중간급 GPU가 장착된 홈 서버에서 호스팅할 수 있는 LLM 기반 비디오 게임을 만드는 것입니다. LLM이 수십 명의 동시 플레이어에게 재미있는 게임 경험을 제공할 만큼 빠르고 지능적이어야 합니다. 사람들은 기능을 요청할 수 있고, 그 기능이 즉석에서 만들어져 게임에 추가되어 로비가 즐길 수 있습니다. 호스팅 비용은 게임에 대해 요금을 청구하지 않아도 될 만큼 관리할 수 있어야 합니다.

소규모 모델의 발전이 한 해만 더 진행되면 그것이 가능해질 수도 있다고 생각합니다.