Paul Graham: Mit 17 würde ich LLMs von Grund auf bauen
I were 17, I'd learn how to build LLMs from scratch
In einem Beitrag auf X antwortet Paul Graham auf die Frage, was er mit 17 tun würde: Er würde lernen, Large Language Models (LLMs) von Grund auf zu bauen und mit der verfügbaren Hardware so leistungsfähige Modelle wie möglich trainieren. Statt ein Startup zu gründen, würde er zunächst eine Wissensbasis aufbauen, um später bessere Startup-Ideen zu entwickeln. Yann LeCun antwortet, er würde untersuchen, warum LLMs Essays schreiben, aber nicht das Schlafzimmer aufräumen können, und entsprechende Methoden jenseits von LLMs erforschen.
Stattdessen würde ich die Wissensgrundlage aufbauen, um später ein Startup darauf zu gründen.
- oersted
Es gibt dieses Dilemma, dass es in der Theorie eine riesige Nachfrage nach Ingenieuren gibt, die echte LLM-Machine-Learning beherrschen, aber in der Praxis gibt es nur sehr wenige verfügbare Stellen und unternehmerische Möglichkeiten.
Die Realität ist, dass eine unglaublich kleine Minderheit von Unternehmen weltweit echtes Training oder Optimierung betreibt. Es ist unnötig und ineffizient für die meisten Zwecke, es sei denn, man ist vollständig darauf ausgerichtet, ein LLM-Unternehmen zu sein, und selbst dann ist es ein Kampf. Die wenigen, die trainieren, geben den Großteil ihres Budgets für Rechenleistung aus und haben relativ kleine Teams.
Erfahrung in diesem Bereich zu sammeln erfordert zunächst Zugang zu sehr teurer Hardware. Und die Fähigkeiten werden ziemlich schwer in einen echten Wert für jemanden umzuwandeln sein, der zu einem ordentlichen Einkommen führt, es sei denn, man hat eine Menge Finanzierung von geduldigen Investoren oder man hat gute Kontakte in den Netzwerken der Bay Area, um an der richtigen Stelle eingestellt zu werden.
Bei allem gebührenden Respekt, paulg ist gewissermaßen in einer Blase, das steht nicht im Einklang mit der globalen Situation.
- fancyfredbot
Ich bin (mehr als) doppelt so alt, aber ich habe Zeit damit verbracht, genau das aus Videos von Andrej Karparthy und aus Büchern von Sebastian Raschka zu lernen.
Ich habe es nicht getan, weil es für mich in einem praktischen Sinne nützlich war. Es liegt daran, dass LLMs faszinierend sind und ich wissen möchte, wie sie funktionieren. Aus dieser Perspektive war es eine großartige Erfahrung. Ich habe ein solides Verständnis der Grundlagen. Das macht es viel einfacher, innovative Konzepte wie komprimierte latente Aufmerksamkeit zu verstehen. Ich kann dem Feld folgen und es verstehen.
Ich bin nicht sicher, ob ich mit siebzehn so viel daraus gewonnen hätte. Ich habe viel Hintergrundwissen und Erfahrung, die es mir viel leichter gemacht haben, zu lernen. Ich habe nicht mit linearer Algebra oder Python gekämpft. Ich kannte bereits PyTorch und neuronale Netze. Das hat sehr geholfen, und ich habe diese Tutorials schnell durchgearbeitet und konnte große Abschnitte überspringen. Ein paar Abende und ein ungerades Wochenende über ein paar Monate waren genug für mich.
Für Siebzehnjährige sind die Tutorials gut genug, um dies zu lernen, aber es hätte viel länger gedauert, es zu verstehen. Andererseits hätte ich viel mehr gelernt. Ich denke, ich hätte viel wertvolles Zeug gelernt.
Allerdings denke ich auch, dass mein siebzehnjähriges Ich für seine A-Levels gelernt hat, und das war wahrscheinlich die richtige Wahl, um zukünftige Chancen zu maximieren. Ich bin nicht sicher, ob ich denke, dass es sinnvoll ist, stattdessen über LLMs zu lernen. In der Tat könnte es ein schlechter Rat sein. Aber ich kann der Einstellung absolut zustimmen. Ich denke, mein siebzehnjähriges Ich hätte das tun wollen, t […]
- koe123
Wissen ist zwar immer großartig, aber ich würde die Leute ermutigen, nicht den Rat von erfolgreichen Leuten wie diesem zu suchen (Überlebensfehler).
Außerdem bin ich nicht sicher, ob es überhaupt guter Rat ist? Würden Sie einem 17-Jährigen raten, zu lernen, wie Transistoren funktionieren oder wie man programmiert (d.h. ist LLM-Training die richtige Ebene im Stack)? LLM-Training, eine Disziplin, in der relevante Arbeit bereits außerhalb der Reichweite von 99,999 % der Budgets liegt, ist wirklich so wesentlich, wie dieser Beitrag impliziert?
- wiseowise
Wenn ich 61 und wohlhabend wäre, würde ich so einen dummen Mist nicht schreiben.
Ich bin kein paulg, aber wenn du das liest – und du bist 17 – konzentriere dich einfach darauf, an einer Universität zu studieren und eine gute Zeit zu haben, die du später nicht bereuen wirst. Spiele Spiele/Sport, gehe Beziehungen ein, verliebe dich, entdecke.
- loveparade
Schrecklicher Rat. Das mag vor 10 Jahren guter Rat gewesen sein, aber heute nicht mehr. Es gibt keine Stellen für Leute, die "irgendwie verstehen, wie Spielzeug-LLMs funktionieren", weil so viele Ingenieure das heutzutage tun. Der größte Teil der echten LLM-Optimierungsarbeit liegt am Rand der Forschung und ist hochgradig proprietär und etwas, das man nie ohne Infrastruktur machen könnte, die Millionen kostet.
Aber natürlich war das vor 10 Jahren nicht offensichtlich.
- chris_va
Ich bin ziemlich erstaunt, wie negativ die Kommentare hier sind, besonders auf HN.
Zu lernen, wie man in der High School etwas mit der neuesten Technologie (Vakuumröhren, Radios, Mikroprozessoren, Web/JavaScript) zusammenbaut, war seit Generationen ein häufiges Thema in der Tech-Welt. Mit LLMs und Online-Tutorials ist das nicht einmal eine schwierige Empfehlung. Denken die Leute, dass das Lernen neuer Technologien irgendwie verschwendete Mühe ist?
- haunter
Wenn ich wieder 17 wäre, würde ich mich darauf vorbereiten, nach der High School für 1-2 Jahre ins Ausland zu gehen und sich ehrenamtlich zu engagieren (es gibt viele kostenlose Optionen in der EU, wo man möglicherweise nur das Flugticket bezahlen muss). Die Welt sehen, anderen helfen und dann darüber nachdenken, was man tun möchte.
- felixrieseberg
Ich werde diesen Beitrag als schamlose Gelegenheit nutzen, um mehr Leuten von einem kleinen Nebenprojekt zu erzählen, das ich gemacht habe:
http://languagemodelbuilder.com bringt dir (in ein paar Stunden bis Tagen) bei, wie man ein LLM von Grund auf baut. Es ist völlig kostenlos, ohne Konten und ohne Datensammlung.