Paul Graham氏「17歳ならLLMをゼロから作る方法を学ぶ」

私はその年齢の2倍以上ですが、アンドレイ・カーパシーのビデオやセバスチャン・ラシュカの本でまさにこれを学ぶことに時間を費やしてきました。

実用的な意味で役に立つからではなく、LLMが魅力的で、その仕組みを知りたいからです。その観点から言えば、素晴らしい経験でした。基礎をしっかりと把握しています。これにより、圧縮潜在アテンションのような最先端の概念を理解するのがはるかに容易になります。この分野を追いかけ、理解することができます。

17歳のときに同じように学べたかどうかはわかりません。私には多くのバックグラウンドと経験があり、それが学習をずっと容易にしました。線形代数やPythonで苦労することはありませんでした。PyTorchとニューラルネットワークはすでに知っていました。それが大いに役立ち、これらのチュートリアルを速くこなせて、大部分をスキップできました。数か月の間の数夜とたまの週末で十分でした。

17歳にとって、チュートリアルは学習を可能にするのに十分良いものですが、理解するにはずっと時間がかかったでしょう。一方で、もっと多くのことを学べたはずです。貴重なことをたくさん学べたと思います。

しかし、17歳の私はAレベル試験の勉強をしていたでしょうし、将来の機会を最大化するという点でそれが正しい選択だったと思います。代わりにLLMについて学ぶことが賢明だとは思いません。実際、それは悪いアドバイスかもしれません。しかし、その感情には絶対に同意できます。17歳の私はこれをやりたかっただろうと思います…

知識は常に素晴らしいですが、成功した人々からこのようなアドバイスを求めるのはやめるべきだと思います（生存者バイアス）。

さらに、それが良いアドバイスかどうかも疑問です。17歳にトランジスタの仕組みやコーディングを学ぶようにアドバイスしますか（つまり、LLMトレーニングはスタックの適切なレベルなのでしょうか）？LLMトレーニングは、関連する作業が予算の99.999%にとってすでに手の届かない分野であり、この投稿が示唆するほど本当に不可欠なのでしょうか？

もし私が61歳で裕福なら、こんな愚かなことは書かないでしょう。

私はpaulgではありませんが、これを読んでいるあなたが17歳なら、大学に入ることに集中して、後悔しない楽しい時間を過ごしてください。ゲームやスポーツをし、人間関係を築き、恋をし、探検してください。

ひどいアドバイスです。10年前なら良いアドバイスだったかもしれませんが、今は違います。「おもちゃのLLMがどう動くか大体わかる」人々のためのポジションはありません。なぜなら、最近は多くのエンジニアがそれを知っているからです。実際のLLM最適化の仕事のほとんどは研究の最先端にあり、非常に独占的で、数百万ドルかかるインフラなしには決してできないものです。

もちろん、10年前はこれは明らかではありませんでした。

ここでのコメント、特にHNでのネガティブさには驚かされます。

高校で最新技術（真空管、ラジオ、マイクロプロセッサ、Web/JavaScript）を使って何かをハックすることを学ぶことは、何世代にもわたってテック界の共通テーマでした。LLMとオンラインチュートリアルがあれば、これは難しい提案ですらありません。新しい技術を学ぶことは無駄な努力だと思う人がいるのでしょうか？

もしもう一度17歳に戻れるなら、高校卒業後に1〜2年間海外ボランティアに行く準備をします（EUには飛行機代だけで済む無料の選択肢がたくさんあります）。世界を見て、他人を助けて、それから自分が何をしたいかを考えます。

この投稿を、私が作った小さなサイドプロジェクトを多くの人に知ってもらうための恥知らずな機会として使います：

http://languagemodelbuilder.com は、ゼロからLLMを構築する方法を（数時間から数日で）教えてくれます。完全に無料で、アカウントも不要、データ収集もありません。