Paul Graham氏「17歳ならLLMをゼロから作る方法を学ぶ」

ここでの多くの人は、メッセージではなく意味に反応している。

若い人たちがこれらのプログラムがどのように機能するかを深く知ることは良い考えだろう。それは彼らがキャリアを築くためにではなく、私たち全員が解決しようとしている次のクラスの問題に、重みや基礎となる数学に至るまでの直感を持って取り組むためだ。また、「とにかくLLMでやろう」が正しい選択ではない場合を健康的に直感するためでもある。

「OSを自作する」が大学の一般的なプロジェクトだったのは、全員がWindowsで働くことが期待されていたからではなく、コンピュータのベアメタルファームウェアを理解することが、あるクラスの問題全体に対する構築の直感を深く理解するのに役立つからだ。

知識は常に素晴らしいが、私は人々にこのような成功者からのアドバイスを求めないことを勧めたい（生存者バイアス）。

さらに、それが本当に良いアドバイスかどうかも確信が持てない。17歳にトランジスタの仕組みやコーディングを学ぶようにアドバイスするだろうか（つまり、LLMトレーニングはスタックの正しいレベルなのか）？LLMトレーニングは、関連する作業がすでに99.999%の予算では手の届かない分野であり、この投稿が示唆するほど本当に不可欠なのだろうか？

うちの子のCSの先生が、AP CSの後に何をすべきか私に尋ねた。

以前は、他の先生向けのアプリを作るクラスがあった。クラブの活動時間を追跡するようなものだ。しかし今では、先生たちが自分でvibe codingするのが簡単になった。

私は、このクラスをCSの前提条件にすべきではないと提案した。むしろ、「ものを作ること」に興味がある人なら誰でも参加させて、他の人や自分のためのアプリを作る練習をさせるべきだ。それがCSへの入り口になるかもしれない。つまり、物事がどのように動くのかを学びたい人たちのための。

CSを学ぶ人向けのCSの後のクラスでは、おそらくLLMか何かを構築すべきだと提案した（笑）。

その意見には感謝するし、無茶なハードウェアなしで、5年前の基本的なLLMでもどうやって訓練できるのかとても興味がある。

とはいえ、17歳にとって良い出発点は、パーセプトロン[0]について読み、ニューラルネットワークの基礎[1]（例：3層パーセプトロン）を学び、3層パーセプトロンを訓練するプログラムを書き、文字データセットであるMNISTデータセット[2]を分類することだ。

これは1日から1週間ででき、ニューラルネットワークの基礎を解明し、より高度な現代的な概念へと進むことができる。

ちなみに、任意の多層パーセプトロンニューラルネットは3層パーセプトロンネットワークに還元できる。

[0] https://en.wikipedia.org/wiki/Perceptron

[1] http://geeksforgeeks.org/deep-learning/neural-networks-a-beg...

[2] https://www.kaggle.com/datasets/hojjatk/mnist-dataset/data

私はその年齢の2倍以上だが、Andrej Karparthyの動画やSebastian Raschkaの本でまさにこれを学ぶことに時間を費やしてきた。

実用的な意味で自分に役立つからではなく、LLMが魅力的で、どう動くのか知りたいからだ。その観点から、素晴らしい経験だった。基礎をしっかりと把握している。これにより、圧縮潜在アテンションのような最先端の概念を理解するのがずっと容易になる。この分野を追いかけ、理解することができる。

17歳で同じように学べたかどうかは分からない。私には多くの背景知識と経験があり、それが学習をずっと容易にした。線形代数やPythonに苦労することはなかった。PyTorchとニューラルネットワークはすでに知っていた。それが大いに役立ち、これらのチュートリアルを速く進め、大部分をスキップできた。数ヶ月の間の数夜とたまの週末だけで十分だった。

17歳にとって、チュートリアルは学習を可能にするのに十分良いが、理解にはずっと時間がかかっただろう。一方で、もっと多くのことを学べただろう。貴重なことをたくさん学べたと思う。

しかし、17歳の自分はAレベル試験のために勉強していたので、将来の機会を最大化するという点でそれが正しい選択だったと思う。LLMについて学ぶことが賢明だとは思わない。実際、それは悪いアドバイスかもしれない。しかし、その意見には完全に同意できる。17歳の自分はこれをやりたがっていただろう。

ここでのコメントのネガティブさには驚かされる。特にHNで。

高校で最新技術（真空管、ラジオ、マイクロプロセッサ、Web/JavaScript）を使って何かをハックすることを学ぶのは、何世代にもわたってテック界の共通テーマだった。LLMとオンラインチュートリアルがあれば、これは難しい提案ですらない。新しい技術を学ぶことが無駄な努力だと思う人がいるのだろうか？

これは本質的に、人生における短期的な満足や早い成果よりも、実質（ここでは技術的な深さという形で）を追求する選択に帰着する。

このような考え方は、学校でもっと教えられるべきだと思う。そうすれば、人々は主題を深く学ぶことを本当に理解するだろう。

この投稿を、私が作った小さなサイドプロジェクトをより多くの人に知ってもらうための恥知らずな機会として使わせてもらう。

http://languagemodelbuilder.com は、数時間から数日でLLMをゼロから構築する方法を教えてくれる。完全に無料で、アカウントも不要、データ収集もない。

もし私が61歳で裕福なら、こんな馬鹿げたことは書かないだろう。

私はpaulgではないが、これを読んでいる17歳のあなたへ。大学に入ることに集中して、後で後悔しない楽しい時間を過ごしてほしい。ゲームやスポーツをし、人間関係を築き、恋をし、探検しよう。