단 998달러로 3.8B LLM을 CORE 0.384까지 학습시킨 개인 프로젝트
Training a 3.8B LLM to 0.384 CORE for $998 – Hugo Vergnes
한 개인이 저녁 시간에 5090과 대여한 B200으로 3.8B 파라미터 모델을 65B 토큰에 걸쳐 43시간, 998달러에 학습시켜 CORE 0.384를 달성했다. GPT-2 1.5B(0.2565)와 nanochat d32(0.310)를 앞선다. Muon 옵티마이저, 사다리꼴 LR 스케줄, ClimbMix 데이터, FP8 학습 등이 주효했고, 문서 경계 마스킹이나 Liger 커널은 효과가 없어 되돌렸다.
내 모델은 nanochat d32보다 크지만 비슷한 시간이 걸렸다. B200은 H100보다 작업 단위당 가성비가 더 좋았다. 하지만 nanochat의 1,000달러 구성과 거의 같은 돈으로 이 모델은 의미 있게 앞선다.
HN 토론
20- brainless
이런 실험이 점점 더 많아지네요. 코딩이 예전 같지 않을 거라는 걸 깨달았을 때 몇 달 동안 슬펐습니다. 이제는 반대편에 서 있네요.
LLM은 나름대로 흥미롭지만, 엔지니어로서 이건 소프트웨어를 만드는 새로운 방식을 열어주는 길입니다.
최근에 미국 부동산 관리 시스템(세금 준수)을 위한 Claude 지원 Excel/CSV 파서를 만들었습니다. Haiku를 사용하고, 알려진 형식을 확인하기 위해 열/행 조합을 추출하는 결정론적 코드가 많으며, 마지막으로 헤더를 Haiku에 넘겨 지원 열에 대한 변환 계획을 받습니다.
이것들은 결국 소프트웨어의 일부가 될 것이고, 아주 작은 LLM이 될 겁니다. (그런 작은 LLM의) 학습과 추론 사이의 간극이 줄어들 겁니다. 엣지 케이스에 대해 Claude에게 자문을 구하고, 샘플 데이터셋을 만들어 필요할 때 작은 LLM을 학습시켜서 Claude에 덜 의존할 수 있습니다.
프로젝트에 필요한 툴링은 정말 중요합니다. 저도 느끼고 있는 부분입니다. LLM 구축 프로젝트뿐만 아니라 LLM이 생성한 일반 소프트웨어 프로젝트에서도요.
- rao-v
정말 멋지네요! ~1B 파라미터를 목표로 '현재' 소형 모델 아이디어의 전체 요리책을 다시 시도해보고 싶어집니다: gated delta nets (~2K 컨텍스트는 이점을 보기엔 너무 짧은가요?), 레이어별 또는 n-gram 임베딩, gated residuals 등.
- johnnylambada
자기가 만든 LLM에 관한 글을 LLM으로 썼다고 해서 탓하지는 않겠습니다. 저는 LLM 출력을 너무 많이 읽어서 이제 어디서나 그것을 봅니다. 인간들이 LLM처럼 더 많이 쓰기 시작할지 궁금하네요.