Пол Грэм: «Если бы мне было 17, я бы учился строить LLM с нуля»
I were 17, I'd learn how to build LLMs from scratch
Пол Грэм, сооснователь Y Combinator, в недавнем твите посоветовал 17-летним учиться создавать большие языковые модели с нуля, а затем тренировать их на доступном оборудовании. Он подчеркнул, что не стал бы сразу основывать стартап, а сначала заложил бы фундамент знаний, который позже позволил бы генерировать гораздо лучшие идеи. Грэм также ответил на комментарий Янна ЛеКуна о связи LLM с физическим миром.
Заметьте, что я бы не стал пытаться основать стартап. Вместо этого я бы построил фундамент знаний, на котором позже можно было бы основать стартап.
- oersted
Существует такая дилемма: в теории есть огромный спрос на инженеров, которые реально разбираются в машинном обучении для LLM, но на практике доступных вакансий и возможностей для предпринимательства очень мало.
Реальность такова, что невероятно малая доля компаний в мире занимается реальным обучением или оптимизацией. Это ненужно и неэффективно для большинства целей, если только вы не полностью посвятили себя созданию LLM-компании, и даже тогда это борьба. Те немногие, кто обучает, тратят большую часть бюджета на вычисления и имеют относительно небольшие команды.
Чтобы получить опыт в этой области, нужно иметь доступ к очень дорогому оборудованию. И навыки будет довольно сложно конвертировать в реальную ценность для кого-то, что принесет достойный доход, если только у вас нет большого финансирования от терпеливых инвесторов или приличных контактов в сетях Bay Area, чтобы устроиться в нужное место.
При всем уважении, paulg находится в некотором пузыре, это не соответствует глобальной ситуации.
- koe123
Хотя знания всегда полезны, я бы призвал людей не искать совета у успешных людей вроде него (ошибка выжившего).
Более того, я не уверен, что это вообще хороший совет? Стали бы вы советовать 17-летнему изучать, как работают транзисторы, или как программировать (т.е. является ли обучение LLM правильным уровнем в стеке)? Обучение LLM — дисциплина, где реальная работа уже недоступна для 99,999% бюджетов, действительно ли это так важно, как подразумевает этот пост?
- fancyfredbot
Я более чем вдвое старше, но я потратил время на изучение именно этого по видео Андрея Карпати и книгам Себастьяна Рашки.
Я делал это не потому, что это было полезно мне в практическом смысле. А потому, что LLM очаровательны, и я хочу знать, как они работают. С этой точки зрения это был отличный опыт. У меня есть твердое понимание основ. Это значительно облегчает понимание передовых концепций, таких как сжатое латентное внимание. Я могу следить за областью и понимать ее.
Не уверен, что в семнадцать я бы извлек из этого столько же. У меня много фоновых знаний и опыта, которые сделали обучение намного проще. Я не боролся с линейной алгеброй или Python. Я уже знал PyTorch и нейронные сети. Это очень помогло, и я быстро прошел эти учебники и мог пропускать большие разделы. Несколько вечеров и пара выходных в течение пары месяцев было достаточно.
Для семнадцатилетних учебники достаточно хороши, чтобы сделать возможным изучение, но на понимание ушло бы гораздо больше времени. С другой стороны, я бы узнал гораздо больше. Думаю, я бы выучил много ценного.
Однако я также думаю, что я в 17 лет готовился к экзаменам A-levels, и, вероятно, это был правильный выбор с точки зрения максимизации будущих возможностей. Не уверен, что изучение LLM вместо этого разумно. Возможно, это плохой совет. Но я абсолютно согласен с настроением. Думаю, я в 17 лет хотел бы этим заняться...
- hashmap
Я небольшой фанат Пола Грэма, тем не менее считаю, что это исключительно хорошее мнение, и мне странно видеть столько нападок на него здесь.
Изучение LLM полезно не для того, чтобы потом создавать LLM, а для того, чтобы работать над архитектурами следующего поколения. Я думаю, что скоро LLM останутся в пыли, уступив место моделям, основанным на EBM / физике, особенно тем, которые могут иметь воплощенное понимание мира. Но многое из того, что вы узнаете о них, переносимо, если делать что-то подобное.
- chris_va
Я поражен тем, насколько негативны комментарии здесь, особенно на HN.
Умение собрать что-то в старшей школе с использованием новейших технологий (вакуумные лампы, радио, микропроцессоры, веб/JavaScript) было общей темой в мире технологий на протяжении поколений. С LLM и онлайн-уроками это даже не сложный совет. Люди думают, что изучение новых технологий — это напрасные усилия?
- loveparade
Ужасный совет. Возможно, это был хороший совет 10 лет назад, но не сегодня. Нет вакансий для людей, которые "вроде понимают, как работают игрушечные LLM", потому что многие инженеры теперь это умеют. Большая часть реальной работы по оптимизации LLM находится на грани исследований и является узкоспециализированной, и вы никогда не сможете заниматься ею без инфраструктуры, которая стоит миллионы.
Но, конечно, 10 лет назад это не было очевидно.
- sureglymop
Я бы пошел (и иду) в MLOps. Не только общая инфраструктура/системное администрирование, но и оптимизация инференса, кэширование, квантование, закрепление памяти, vfio passthrough GPU и т.д.
- wiseowise
Если бы мне был 61 год и я был богат, я бы не писал такую глупость.
Я не Пол Грэм, но если ты читаешь это — и тебе 17 — просто сосредоточься на поступлении в университет и хорошо проводи время, чтобы потом не жалеть. Играй в игры/занимайся спортом, заводи отношения, влюбляйся, исследуй.