Paul Graham: 17살이라면 LLM을 처음부터 직접 만들어볼 것
I were 17, I'd learn how to build LLMs from scratch
Paul Graham이 17살의 자신에게 해주고 싶은 조언을 트위터에 공개했다. 그는 LLM을 처음부터 직접 만들어보고, 접근 가능한 하드웨어로 최대한 강력한 모델을 훈련시키는 것이 중요하다고 강조한다. 스타트업을 바로 시작하는 대신, LLM에 대한 깊은 이해를 바탕으로 더 나은 아이디어를 키우는 것이 낫다는 것이다. 이에 대해 Yann LeCun은 LLM이 왜 에세이는 쓰면서 방 청소는 못 하는지 연구하라고 제안하며, 물리적 세계를 이해하는 새로운 방법론의 필요성을 언급했다.
내가 하지 않을 일은 스타트업을 시작하는 것이다. 대신 나중에 스타트업의 기반이 될 지식의 토대를 쌓을 것이다. LLM을 깊이 이해하는 것에서 17살 때 알던 지식으로 회사를 세우는 것보다 훨씬 더 좋은 스타트업 아이디어가 나올 것이다.
HN 토론
112- oersted
이론상으로는 진짜 LLM 머신러닝을 할 수 있는 엔지니어에 대한 수요가 엄청나다는 딜레마가 있습니다. 하지만 실제로는 이용 가능한 자리나 창업 기회가 매우 적습니다.
현실은 전 세계에서 실제 훈련이나 최적화를 하는 회사는 극소수라는 것입니다. 대부분의 목적에는 불필요하고 비효율적입니다. LLM 회사가 되기 위해 완전히 헌신하지 않는 한, 그렇게 해도 힘들기 마련입니다. 훈련을 하는 소수의 회사들도 예산의 대부분을 컴퓨팅에 쓰고 팀은 상대적으로 작습니다.
이 분야에서 경험을 쌓으려면 처음부터 매우 비싼 하드웨어에 접근할 수 있어야 합니다. 그리고 그 기술을 실제 가치나 괜찮은 수입으로 전환하는 것은 꽤 어려울 것입니다. 인내심 있는 투자자로부터 충분한 자금을 받거나, 실리콘밸리 네트워크에서 적절한 곳에 채용될 좋은 연락처가 있지 않다면 말이죠.
존중하는 마음으로 말하지만, paulg는 어느 정도 거품 속에 있습니다. 이것은 전 세계적인 상황과 일치하지 않습니다.
- fancyfredbot
저는 그 나이의 두 배 이상이지만, Andrej Karpathy의 비디오와 Sebastian Raschka의 책을 통해 정확히 이것을 배우는 데 시간을 보냈습니다.
실용적인 의미에서 나에게 유용해서가 아니었습니다. LLM이 매혹적이고 어떻게 작동하는지 알고 싶었기 때문입니다. 그 관점에서 보면 훌륭한 경험이었습니다. 기본기에 대한 확실한 이해를 갖게 되었습니다. 이로 인해 compressed latent attention과 같은 최첨단 개념을 훨씬 쉽게 이해할 수 있게 되었습니다. 이 분야를 따라가며 이해할 수 있습니다.
17살 때 그렇게 많은 것을 얻었을지 확신이 서지 않습니다. 저는 배우는 것을 훨씬 쉽게 만들어 준 많은 배경 지식과 경험이 있습니다. 선형대수나 파이썬으로 고생하지 않았습니다. 이미 pytorch와 신경망을 알고 있었습니다. 그것이 많은 도움이 되었고 튜토리얼을 빠르게 다룰 수 있었고 큰 부분을 건너뛸 수 있었습니다. 몇 달에 걸쳐 저녁 몇 번과 주말 하루 정도면 충분했습니다.
17살에게 튜토리얼은 배우는 것을 가능하게 할 만큼 충분히 좋지만, 이해하는 데 훨씬 더 오래 걸렸을 것입니다. 반면에 훨씬 더 많은 것을 배웠을 것입니다. 많은 가치 있는 것들을 배웠을 것 같습니다.
하지만 17살의 나는 A레벨을 공부하고 있었고, 미래의 기회를 최대화하는 측면에서 그것이 옳은 선택이었을 것이라고 생각합니다. LLM에 대해 배우는 것이 현명한지 확신이 서지 않습니다. 실제로 나쁜 조언일 수도 있습니다. 하지만 그 감정에는 절대적으로 동의합니다. 17살의 나는 이것을 하고 싶어 했을 것 같습니다.
- koe123
지식은 항상 훌륭하지만, 저는 사람들이 이런 성공한 사람들의 조언을 구하지 않도록 권하고 싶습니다 (생존자 편향).
게다가 그것이 좋은 조언인지도 확실하지 않습니다. 17살에게 트랜지스터가 어떻게 작동하는지나 코딩하는 법을 배우라고 조언하시겠습니까 (즉, LLM 훈련이 스택에서 올바른 수준인가요)? LLM 훈련은 관련 작업이 이미 99.999%의 예산으로는 손이 닿지 않는 분야인데, 이 게시물이 암시하는 것만큼 필수적인가요?
- wiseowise
제가 61세이고 부자라면, 이런 멍청한 글을 쓰지 않을 것입니다.
저는 paulg가 아니지만, 이것을 읽고 있다면 - 그리고 17살이라면 - 그냥 대학에 가는 것에 집중하고 나중에 후회하지 않을 좋은 시간을 보내세요. 게임/스포츠를 하고, 관계를 만들고, 사랑에 빠지고, 탐험하세요.
- loveparade
끔찍한 조언입니다. 10년 전에는 좋은 조언이었을지 모르지만, 지금은 아닙니다. 요즘은 많은 엔지니어들이 그렇게 하기 때문에 "장난감 LLM이 어떻게 작동하는지 어느 정도 이해하는" 사람들을 위한 자리는 없습니다. 실제 LLM 최적화 작업의 대부분은 연구의 최전선에 있고 매우 독점적이며 수백만 달러의 인프라 없이는 절대 할 수 없는 일입니다.
하지만 물론 10년 전에는 이것이 명확하지 않았습니다.
- chris_va
저는 여기, 특히 HN에서 댓글들이 얼마나 부정적인지 놀랍습니다.
고등학교에서 최신 기술(진공관, 라디오, 마이크로프로세서, 웹/자바스크립트)을 사용하여 무언가를 직접 만들어 보는 것은 기술 세계에서 여러 세대에 걸쳐 흔한 주제였습니다. LLM과 온라인 튜토리얼이 있는 지금, 이것은 어려운 제안조차 아닙니다. 사람들은 새로운 기술을 배우는 것이 어떻게든 낭비된 노력이라고 생각하나요?
- haunter
제가 다시 17살이 된다면, 고등학교 졸업 후 1-2년 동안 해외 자원봉사를 준비할 것입니다 (EU에는 비행기 값만 내면 되는 무료 옵션이 많이 있습니다). 세상을 보고, 다른 사람들을 돕고, 그런 다음 무엇을 하고 싶은지 생각할 것입니다.
- felixrieseberg
저는 이 게시물을 제가 만든 작은 사이드 프로젝트를 더 많은 사람들에게 알리는 뻔뻔한 기회로 사용하겠습니다:
http://languagemodelbuilder.com 은 몇 시간에서 며칠 안에 LLM을 처음부터 구축하는 방법을 가르쳐 줍니다. 완전히 무료이며, 계정이 필요 없고, 데이터 수집도 없습니다.