Пол Грэм: «Если бы мне было 17, я бы учился строить LLM с нуля»

Многие здесь отвечают на сообщение, но не на смысл.

Молодым людям было бы полезно глубоко понимать, как работают эти программы. Не для того, чтобы провести карьеру, создавая их, а для того, чтобы подойти к следующему классу проблем, которые мы все начнем решать, с интуицией, уходящей вплоть до весов и лежащей в основе математики. А также, чтобы развить здоровую интуицию, когда «просто используй LLM» не будет правильным выбором.

«Создать ОС» не было обычным университетским проектом, потому что все мы должны были пойти работать над Windows, а потому что понимание низкоуровневого кода компьютера помогает глубоко понять, как интуитивно создавать решения для целого класса проблем.

Хотя знания всегда полезны, я бы призвал людей не искать совета у таких успешных людей (ошибка выжившего).

Более того, я не уверен, что это вообще хороший совет? Посоветовали бы вы 17-летнему изучить, как работают транзисторы, или как программировать (т.е. является ли обучение LLM правильным уровнем в стеке)? Обучение LLM, дисциплина, где реальная работа уже недоступна для 99,999% бюджетов, действительно так важна, как подразумевает этот пост?

Я более чем в два раза старше, но я потратил время на изучение этого по видео Андрея Карпати и книгам Себастьяна Рашки.

Я делал это не потому, что это было полезно мне в практическом смысле. А потому что LLM увлекательны, и я хочу знать, как они работают. С этой точки зрения это был отличный опыт. У меня есть твердое понимание основ. Это позволяет гораздо легче понимать передовые концепции, такие как сжатое латентное внимание. Я могу следить за областью и понимать ее.

Не уверен, что я бы получил столько же пользы в семнадцать. У меня много опыта и знаний, которые сделали обучение гораздо легче. Я не боролся с линейной алгеброй или Python. Я уже знал PyTorch и нейронные сети. Это очень помогло, и я быстро прошел эти учебники и мог пропускать большие разделы. Несколько вечеров и пара выходных дней в течение пары месяцев было достаточно.

Для семнадцатилетних учебники достаточно хороши, чтобы сделать возможным изучение этого, но на понимание ушло бы гораздо больше времени. С другой стороны, я бы узнал гораздо больше. Думаю, я бы выучил много ценных вещей.

Однако я также думаю, что я в 17 лет готовился к экзаменам A-levels, и, вероятно, это был правильный выбор с точки зрения максимизации будущих возможностей. Я не уверен, что изучение LLM вместо этого разумно. Возможно, это плохой совет. Но я абсолютно согласен с настроением. Думаю, я в 17 лет хотел бы этим заниматься.

Я понимаю настроение поста... но в нем есть оттенок «пусть едят пирожные».

Единственный реалистичный подход — это обучение на ограниченном наборе данных, который, вероятно, менее полезен, чем комбинация кастомного RAG + одной из множества доступных LLM.

Кроме того, у многих людей/детей больше нет доступа к нормальным «продуктивным» системам, поскольку вся индустрия вычислений и электроники перешла на «потребительские» устройства, такие как смартфоны или ноутбуки, созданные для Netflix, игр и Spotify.

Преодолеть барьер для создания собственной системы, установки Linux (или инструментов разработчика для Windows, MacOS) — это уже сложная и дорогостоящая задача. В конце 90-х и 2000-х было гораздо проще что-то запустить.

Я ценю настроение, и мне очень любопытно, как я мог бы обучить LLM, даже самую простую, как 5 лет назад, без безумного железа.

Тем не менее, хорошая отправная точка для 17-летнего — прочитать о перцептронах[0], затем основы нейронных сетей[1] (например, трехслойный перцептрон), затем написать программу для обучения трехслойного перцептрона и классификации набора данных MNIST[2] — набора данных символов.

Это может занять от дня до недели, и вы демистифицируете основы нейронных сетей и продвинетесь к более современным концепциям.

Забавный факт: любую многослойную перцептронную нейросеть можно свести к трехслойной сети перцептронов.

[0] https://en.wikipedia.org/wiki/Perceptron

[1] http://geeksforgeeks.org/deep-learning/neural-networks-a-beg...

[2] https://www.kaggle.com/datasets/hojjatk/mnist-dataset/data

Я не уверен, что бы я в 17 лет делал с учебниками на YouTube на все случаи жизни.

Я сейчас намного старше и менее мудр, но я все же позволил себе возможность следовать учебникам Карпати, чтобы создать LLM с нуля. Поиграл с несколькими идеями. Видел похожие идеи в работе передовых моделей, что довольно приятно.

Так много идей, которые можно попробовать.

Сейчас играюсь с автоэнкодерами, которые берут A и B и создают латентные представления A', B' и C'. Реконструкция A происходит из A' и C', B — из B' и C'.

Идея в том, что если C' может улучшить оба выхода, то он должен хранить как можно больше информации о том, что общего у обоих входов.

Я поражен, насколько негативны комментарии здесь, особенно на HN.

Умение собрать что-то в старшей школе с использованием новейших технологий (вакуумные лампы, радио, микропроцессоры, веб/JavaScript) было общей темой в мире технологий на протяжении поколений. С LLM и онлайн-учебниками это даже не сложный совет. Неужели люди думают, что изучение новых технологий — это напрасные усилия?

Учитель информатики моих детей спросил меня, что им делать после AP CS.

Раньше у них был класс, где они создавали приложения для других учителей. Например, отслеживание, когда проходят клубы, и т.д. Но теперь учителям стало легко самим «виброкодить» такие вещи.

Я предложил, чтобы этот класс не был предварительным условием для CS. Черт возьми, пусть приглашают всех, кому интересно «создавать вещи», и они смогут практиковаться в создании приложений для других / для себя. Возможно, это станет воротами К CS — для людей, которые хотят узнать, как все устроено под капотом.

Я предложил, чтобы после CS для тех, кто занимается CS, вероятно, было создание LLM или что-то в этом роде :)