145B 파라미터 AI가 노트북에서 80토큰/s로 돌아간다

Blender 예제들에 정말 감탄했다. '도구 사용'이 얼마나 발전했는지 놀랍다. 이제는 인간이 며칠 걸려야 끝낼 작업을 Blender처럼 복잡한 도구를 써서 수행한다니. 실제 모델이 쓸 만한지, 즉 인간이 나중에 들어와서 수동으로 다듬고 더 나은 텍스처를 적용할 수 있을지는 조금 회의적이다. 역사적으로 에이전트가 만든 디자인은 엉망인 경우가 많았고, 정리하고 나면 시간을 아낀 게 없었다. 하지만 그게 나아지기 시작했다. 예를 들어 최고 모델들은 이제 Inkscape나 Illustrator에서 인간이 만든 것만큼 깔끔한 도형 기반 SVG를 아주 잘 만든다. 그래도 꼭 한번 시도해볼 생각이다.

> 행렬을 공유하면 전문가 수는 그대로 유지하면서 저장하고 이동해야 하는 가중치를 크게 줄일 수 있다. 64명의 전문가로 구성된 각 그룹은 두 개의 큰 행렬을 공유하고, 각 전문가는 자신의 차이점을 담은 작은 파라미터 세트를 유지한다.

145B 파라미터에 최대 29GB 메모리 사용이라니 정말 인상적이다. 괜찮은 사양의 MBP에서 실제로 돌릴 수 있는 수준이다.

이거 flash next에서 파생된 건가? 모든 내용을 읽어보니 그런 인상이다. 지금 Strata + Qwen 3.8 Flash Next를 쓰고 있는데 정말 감탄을 넘어설 정도다. 내가 써본 바로는 지금까지 5.6 Luna만큼 유능하다. 이게 업그레이드라면 빨리 써보고 싶다.

> MacBook Pro 같은 호환되는 개인 노트북에서 실행된다

궁금한데, 일반인(즉 HN의 전문 개발자나 창업자가 아닌 사람)이 그런 걸 실제 개인 기기(회사에서 지급한 게 아닌)로 가지고 있을까? 일부는 있겠지만, 평균적인 PC 사용자는 기껏해야 게이밍 PC를 가지고 있고 그것도 소수이며, 훨씬 더 자주는 통합 메모리나 VRAM이 아닌 16GB 일반 RAM의 저사양 노트북을 쓸 것 같다. 내가 현실 감각이 없는 걸까?

이걸 NVFP4로 출시해서 엔비디아 블랙웰 전용이 됐다. 아마 그들의 추론 엔진도 CUDA 13에 명시된 것 외에는 지원하지 않을 것이다. 다른 퀀트가 나오고 다른 추론 엔진이 이걸 받아들여서 표준 GGUF 파일이 나오는지 지켜보는 것도 흥미로울 것이다. 지금은 GGUF 파일 다운로드 대신 HF의 variants 링크가 여러 파일에 모델이 흩어져 있는 디렉터리로 연결되는 좀 이상한 릴리스다.

우리가 발견하고 있는 최적화 수준이 놀랍다. 이런 추세라면 점점 더 큰 모델을 내놓는 대신, 기업들이 특정 애플리케이션을 위한 더 작고 더 유능한 전문화된 모델을 출시하는 방향으로 추세가 역전되기 시작해도 놀라지 않을 것이다.

지난 몇 주 동안 나는 650만 파라미터의 작은 모델을 만들고 있다. 대화형이고, 도구 호출, RAG, 수학적 모델링/계산, 기초 물리 시뮬레이션, 다단계 연쇄 추론을 한다. 아직 프런티어 모델은 전혀 아니다. 하지만 불과 1년 전 qwen 2.5 0.5b 파라미터 모델을 파인튜닝해서 할 수 있었던 것보다 이미 더 많은 일을 한다.

대부분의 개선은 claude에게 최근 계속 나오는 연구에서 나온 다양한 아이디어를 적용하도록 지시할 수 있기 때문이다. AI 연구소들은 10억+ 모델에 집중하는 것 같아서 작은 모델에 대한 연구는 많이 나오지 않지만, 10억+ 모델 연구에서 발견된 많은 것들이 작은 모델에도 적용 가능하다.

컨텍스트 프루닝, 잘못된 도구 호출 복구 같은 하네스 개선도 작은 로컬 모델 성능을 높이는 데 매우 유용하다. 최근 이 분야에서 많은 작업을 하고 있다. 예를 들어 Terminal Bench 2.1에서 Qwen 27B가 73에서 85로 올랐다.