Paul Graham: Mit 17 würde ich LLMs von Grund auf bauen

Viele Leute hier antworten auf die Botschaft, aber nicht auf die Bedeutung.

Es wäre eine gute Idee für junge Leute, tiefgehend zu verstehen, wie diese Programme funktionieren. Nicht, damit sie ihre Karriere mit dem Bauen verbringen, sondern damit sie sich der nächsten Klasse von Problemen nähern können, die wir alle zu lösen versuchen werden, mit Intuition bis hinunter zu den Gewichten und der zugrunde liegenden Mathematik. Und auch, um eine gesunde Intuition dafür zu entwickeln, wann "Einfach LLM drauf" nicht die richtige Wahl ist.

"Ein Betriebssystem bauen" war kein übliches Universitätsprojekt, weil wir alle erwarteten, später an Windows zu arbeiten, sondern weil das Verständnis der Hardware-Nähe eines Computers hilft, tief zu verstehen, wie man für eine ganze Klasse von Problemen baut.

Wissen ist immer großartig, aber ich würde den Leuten raten, nicht den Rat von erfolgreichen Leuten wie diesem zu suchen (Überlebensfehler).

Außerdem bin ich mir nicht sicher, ob es überhaupt guter Rat ist? Würden Sie einem 17-Jährigen raten, zu lernen, wie Transistoren funktionieren oder wie man codiert (d.h. ist LLM-Training die richtige Ebene im Stack)? LLM-Training, eine Disziplin, in der relevante Arbeit bereits außerhalb der Reichweite von 99,999% der Budgets liegt, ist wirklich so wesentlich, wie dieser Beitrag impliziert?

Ich bin (mehr als) doppelt so alt, aber ich habe Zeit damit verbracht, genau das aus Videos von Andrej Karpathy und aus Büchern von Sebastian Raschka zu lernen.

Ich habe es nicht getan, weil es für mich im praktischen Sinne nützlich war. Es ist, weil LLMs faszinierend sind und ich wissen möchte, wie sie funktionieren. Aus dieser Perspektive war es eine großartige Erfahrung. Ich habe ein solides Verständnis der Grundlagen. Das macht es viel einfacher, Grenzkonzepte wie komprimierte latente Aufmerksamkeit zu verstehen. Ich kann dem Feld folgen und es verstehen.

Ich bin mir nicht sicher, ob ich mit siebzehn so viel davon gehabt hätte. Ich habe viel Hintergrund und Erfahrung, die das Lernen viel einfacher gemacht haben. Ich hatte nicht mit linearer Algebra oder Python zu kämpfen. Ich kannte bereits PyTorch und neuronale Netze. Das hat sehr geholfen, und ich habe diese Tutorials schnell durchgearbeitet und konnte große Abschnitte überspringen. Ein paar Abende und das eine oder andere Wochenende über ein paar Monate waren genug für mich.

Für Siebzehnjährige sind die Tutorials gut genug, um das Lernen zu ermöglichen, aber es hätte viel länger gedauert, um es zu verstehen. Andererseits hätte ich viel mehr gelernt. Ich denke, ich hätte viel wertvolles Zeug gelernt.

Ich denke jedoch auch, dass ich mit 17 für meine A-Levels gelernt habe, und das war wahrscheinlich die richtige Wahl, um zukünftige Chancen zu maximieren. Ich bin mir nicht sicher, ob ich es für sinnvoll halte, stattdessen über LLMs zu lernen. In der Tat könnte es ein schlechter Rat sein. Aber ich kann absolut mit dem Gefühl übereinstimmen. Ich denke, der 17-jährige Ich hätte das tun wollen [...]

Wenn ich 17 wäre, würde ich versuchen zu unterscheiden, von wem ich Ratschläge annehme, und würde definitiv lernen, dass VCs ein Interesse daran haben, eine bestimmte Agenda in ihrer Botschaft zu verbreiten. Außerdem würde ich mich betrinken und so viel Spaß haben wie möglich, denn das Elend, unter der Drohung zu arbeiten, durch KI ersetzt zu werden, würde einfach jeden Lebenswillen über 25 töten.

Ich bin ziemlich erstaunt, wie negativ die Kommentare hier sind, besonders auf HN.

Zu lernen, in der Highschool etwas mit der neuesten Technologie zusammenzuhacken (Vakuumröhren, Radios, Mikroprozessoren, Web/JavaScript), ist seit Generationen ein häufiges Thema in der Tech-Welt. Mit LLMs und Online-Tutorials ist das nicht einmal eine schwierige Empfehlung. Denken die Leute, dass das Lernen neuer Technologien irgendwie verschwendete Mühe ist?

Ja, auf keinen Fall.

Ich würde mitten ins Nirgendwo ziehen und mehrere Jobs auf einem Bauernhof und im Bauwesen annehmen. Lernen, wie man Essen anbaut und Dinge baut. Die Tochter des Bauern treffen und sie heiraten. Dann mein eigenes Land kaufen, mein eigenes Essen anbauen und meine eigenen Dinge bauen.

Ich nutze diesen Beitrag als schamlose Gelegenheit, mehr Leuten von einem kleinen Nebenprojekt zu erzählen, das ich gemacht habe:

http://languagemodelbuilder.com lehrt dich (in ein paar Stunden bis Tagen), wie man ein LLM von Grund auf baut. Es ist völlig kostenlos, ohne Konten und ohne Datensammlung.

Ich denke, ein Problem, mit dem viele Leute hier kämpfen, ist, dass es aufgrund von LLMs und KI im Allgemeinen praktisch unmöglich ist, vorherzusagen, wie die Zukunft aussehen wird oder welche Jobs es noch geben wird.

Ich würde wahrscheinlich so etwas sagen: Tu etwas, das dir Spaß macht und das nützlich erscheint, aber akzeptiere, dass das Tempo des Wandels bedeuten kann, dass das, was du studierst, am Ende irrelevant wird.

Was auch immer die Lösung dafür am Ende sein wird, sie wird nicht eine sein, die ein einzelner 17-Jähriger umsetzen kann. Wir sind an dem Punkt vorbei, an dem individuelle gute und schlechte Entscheidungen so viel für wirtschaftliche Ergebnisse ausmachen.

Ich bin normalerweise ein Fan von pg, aber dieser Beitrag ist ignorant gegenüber modernen KI-Technologien. Ein LLM von Grund auf zu bauen ist sowohl eine triviale als auch eine nutzlose Übung. Es gibt wahrscheinlich etwa 5000 GitHub-Repos, die genau das tun. Was LLMs zum Funktionieren bringt, ist Skalierung, und was das Engineering und Training von LLMs schwierig macht, ist ebenfalls Skalierung. Und Skalierung ist nichts, was man in seiner Garage erreichen kann.

Wenn das Ziel ist, LLMs tief zu verstehen, wäre man besser beraten, entweder einem der großen KI-Unternehmen beizutreten oder zu promovieren.

Und um ehrlich zu sein, ich denke, diese Reise hätte vor 5 Jahren begonnen werden sollen, denn gerade jetzt gibt es zu viel Konkurrenz.