Paul Graham: 17살이라면 LLM을 처음부터 직접 만들어볼 것
I were 17, I'd learn how to build LLMs from scratch
Paul Graham이 17살의 자신에게 해주고 싶은 조언을 트위터에 공개했다. 그는 LLM을 처음부터 직접 만들어보고, 접근 가능한 하드웨어로 최대한 강력한 모델을 훈련시키는 것이 중요하다고 강조한다. 스타트업을 바로 시작하는 대신, LLM에 대한 깊은 이해를 바탕으로 더 나은 아이디어를 키우는 것이 낫다는 것이다. 이에 대해 Yann LeCun은 LLM이 왜 에세이는 쓰면서 방 청소는 못 하는지 연구하라고 제안하며, 물리적 세계를 이해하는 새로운 방법론의 필요성을 언급했다.
내가 하지 않을 일은 스타트업을 시작하는 것이다. 대신 나중에 스타트업의 기반이 될 지식의 토대를 쌓을 것이다. LLM을 깊이 이해하는 것에서 17살 때 알던 지식으로 회사를 세우는 것보다 훨씬 더 좋은 스타트업 아이디어가 나올 것이다.
HN 토론
672- oersted
이론적으로는 진짜 LLM 머신러닝을 할 수 있는 엔지니어에 대한 수요가 엄청나다는 딜레마가 있습니다. 하지만 실제로는 그런 자리나 창업 기회는 매우 드뭅니다.
현실은 전 세계 극소수 기업만이 실제로 모델을 학습시키거나 최적화한다는 것입니다. 대부분의 목적에는 불필요하고 비효율적이며, LLM 회사가 되기 위해 완전히 헌신하지 않는 한 여전히 어려운 싸움입니다. 그 소수의 회사들도 예산의 대부분을 컴퓨팅에 쓰고 팀 규모는 상대적으로 작습니다.
이 분야에서 경험을 쌓으려면 처음부터 매우 비싼 하드웨어에 접근할 수 있어야 합니다. 그리고 그 기술을 실제 가치로 전환해 괜찮은 수입을 얻기는 꽤 어렵습니다. 인내심 있는 투자자로부터 많은 자금을 받거나, 베이 에어리어 네트워크에서 적절한 곳에 취직할 수 있는 좋은 인맥이 있지 않다면 말이죠.
존중하는 마음으로 말씀드리지만, paulg는 다소 거품 속에 있습니다. 이는 전 세계적인 상황과 일치하지 않습니다.
- mattlutze
여기 많은 사람들이 메시지가 아니라 의미에 반응하고 있습니다.
젊은이들이 이 프로그램들이 어떻게 작동하는지 깊이 아는 것은 좋은 생각일 것입니다. 그들이 평생 그것을 만드는 데 시간을 보내기 위해서가 아니라, 우리 모두가 풀기 시작할 다음 세대의 문제들에 가중치와 기저 수학까지 내려가는 직관을 가지고 접근할 수 있도록 말입니다. 또한 '그냥 LLM 쓰면 되지'가 옳지 않은 선택이 될 때를 건강한 직관으로 알기 위해서도요.
'OS 만들기'가 대학 프로젝트로 흔했던 이유는 우리 모두가 나가서 Windows를 만들 것이라고 기대했기 때문이 아니라, 컴퓨터의 베어메탈 펌웨어를 이해하는 것이 특정 문제 클래스 전체에 대한 구축 직관을 깊이 이해하는 데 도움이 되기 때문입니다.
- koe123
지식은 항상 좋지만, 저는 사람들이 이런 성공한 사람들의 조언을 구하지 않기를 권합니다 (생존자 편향).
게다가 이것이 정말 좋은 조언인지도 확실하지 않습니다. 17세에게 트랜지스터가 어떻게 작동하는지 배우라고 조언하시겠습니까, 아니면 코딩을 배우라고 조언하시겠습니까 (즉, LLM 학습이 스택에서 올바른 수준인가요)? LLM 학습은 관련 작업이 이미 예산의 99.999%가 닿지 않는 분야인데, 이 글에서 시사하는 것처럼 정말 필수적인가요?
- fancyfredbot
저는 그 나이의 두 배 이상이지만, Andrej Karpathy의 비디오와 Sebastian Raschka의 책을 통해 정확히 이것을 배우는 데 시간을 보냈습니다.
실용적인 의미에서 나에게 유용했기 때문이 아니라, LLM이 매혹적이고 어떻게 작동하는지 알고 싶었기 때문입니다. 그런 관점에서 훌륭한 경험이었습니다. 기초를 확실히 이해하게 되었고, 이는 compressed latent attention과 같은 최첨단 개념을 이해하는 것을 훨씬 쉽게 만듭니다. 이 분야를 따라가며 이해할 수 있습니다.
17살에 이것을 배웠다면 그만큼 얻지 못했을 것 같습니다. 저는 많은 배경 지식과 경험이 있어서 배우기가 훨씬 쉬웠습니다. 선형대수나 파이썬으로 고생하지 않았고, 이미 파이토치와 신경망을 알고 있었습니다. 그것이 많은 도움이 되었고 튜토리얼을 빠르게 끝내고 큰 부분을 건너뛸 수 있었습니다. 몇 달에 걸쳐 저녁 몇 번과 주말 하루 정도면 충분했습니다.
17세에게는 튜토리얼이 배우기에 충분히 좋지만 이해하는 데 훨씬 더 오래 걸렸을 것입니다. 반면에 더 많은 것을 배웠을 것입니다. 많은 가치 있는 것들을 배웠을 것 같습니다.
하지만 17살의 나는 A 레벨을 위해 공부하고 있었고, 미래의 기회를 최대화하는 측면에서 그것이 옳은 선택이었을 것이라고 생각합니다. LLM에 대해 배우는 것이 현명한지 확신하지 않습니다. 실제로 나쁜 조언일 수도 있습니다. 하지만 그 감정에는 전적으로 동의합니다. 17살의 나는 이것을 하고 싶었을 것입니다.
- fnoef
내가 17살이라면, 누구의 조언을 들어야 할지 구분하려고 노력할 것이고, VC들이 그들의 메시지에 특정 의제를 퍼뜨리는 데 이해관계가 있다는 것을 확실히 배울 것입니다. 또한, 나는 술에 취해 최대한 즐길 것입니다. AI로 대체될 위협 속에서 일하는 비참함이 25세 이후의 삶의 의지를 죽일 것이기 때문입니다.
- chris_va
저는 여기 댓글들이, 특히 HN에서, 얼마나 부정적인지 놀랍습니다.
고등학교에서 최신 기술(진공관, 라디오, 마이크로프로세서, 웹/자바스크립트)을 사용하여 무언가를 조립해 보는 것은 기술 세계에서 여러 세대에 걸쳐 흔한 주제였습니다. LLM과 온라인 튜토리얼이 있는 지금, 이것은 어려운 제안조차 아닙니다. 사람들은 새로운 기술을 배우는 것이 어떻게든 낭비된 노력이라고 생각하나요?
- greenowl
아니요, 절대 안 됩니다.
저는 한적한 시골로 이사해서 농장과 건설 현장에서 여러 가지 일을 할 것입니다. 음식을 기르고 물건을 짓는 법을 배우고, 농부의 딸을 만나 결혼할 것입니다. 그런 다음 제 땅을 사서 제 음식을 기르고 제 물건을 지을 것입니다.
- felixrieseberg
저는 이 글을 제가 만든 작은 사이드 프로젝트를 더 많은 사람들에게 알리는 뻔뻔한 기회로 사용하겠습니다:
http://languagemodelbuilder.com 은 몇 시간에서 며칠 안에 LLM을 처음부터 만드는 방법을 가르칩니다. 완전 무료이며, 계정도 없고, 데이터 수집도 없습니다.
- Chance-Device
여기 많은 사람들이 고민하는 문제는 LLM과 AI 전반으로 인해 미래가 어떻게 될지, 어떤 직업이 남아 있을지 예측하는 것이 사실상 불가능하다는 것입니다.
저는 아마 이렇게 말할 것 같습니다: 즐겁고 유용해 보이는 일을 하되, 변화의 속도가 너무 빨라서 무엇을 공부하든 결국 무의미해질 수 있다는 것을 받아들이십시오.
이에 대한 해결책이 무엇이든, 그것은 개인 17세가 실행할 수 있는 것이 아닐 것입니다. 우리는 개인의 좋고 나쁜 선택이 경제적 결과에 그렇게 중요하지 않은 지점을 지났습니다.
- geremiiah
저는 보통 pg의 팬이지만, 이 글은 현대 AI 기술에 대해 무지합니다. LLM을 처음부터 만드는 것은 사소하고 쓸모없는 운동입니다. 정확히 그렇게 하는 깃허브 저장소가 아마 5000개 정도 있을 것입니다. LLM을 작동하게 만드는 것은 규모이고, LLM을 엔지니어링하고 학습시키는 것을 어렵게 만드는 것도 규모입니다. 그리고 규모는 차고에서 달성할 수 있는 것이 아닙니다.
목표가 LLM을 깊이 이해하는 것이라면, 대형 AI 회사에 합류하거나 박사 학위를 하는 것이 더 나을 것입니다.
솔직히 말해서, 이 여정은 5년 전에 시작했어야 한다고 생각합니다. 지금은 경쟁이 너무 치열하기 때문입니다.