Die Lawine, die die Mathematik traf, rollt jetzt auf die KI-Forschung zu
The avalanche that hit math is coming for AI development
Dwarkesh Patel hat seine Prognose zur Superintelligenz drastisch nach vorn korrigiert: Statt eines Jahrzehnts rechnet er nur noch mit wenigen Jahren, bis KI genauso gut in der KI-Forschung ist wie die besten Menschen. Als Beleg dient ihm der rasante Fortschritt in der Mathematik, wo Modelle inzwischen sogar ein Millennium-Preis-Problem lösten. Weil KI-Forschung ähnlich gut überprüfbar sei wie Mathematik, könne sich der Fortschritt danach in einem einzigen Jahr massiv verdichten.
Und es gibt eine sichere Sache beim Sturz der Götter: Sie stürzen nicht ein wenig; sie zerschellen und zersplittern.
- mentalgear
Es kommt auf alle zu: Es gibt ein Startup, das Roboterarme vorgestellt hat, die versprechen, alles in einem einzigen Versuch zu lernen: Wenn das hält – und bei einem einzigen Versuch gibt es wenig Spielraum – wäre es ein guter Indikator dafür, dass auch manuelle Arbeit bald weg ist.
Die einzige verbleibende Frage ist, ob sich 99,9 % der Weltbevölkerung durch UBI & VR täuschen lassen, um die Massen bei Laune zu halten, während die 0,1 % allen Reichtum und alle KI-Macht halten.
Und das entscheidet sich jetzt, denn es ist zu spät, sobald die KI unter einem Bi-/Tri-llionär konsolidiert ist.
- throw-away-mle
Ich arbeite als Research Engineer in einem Alphabet-Unternehmen und bin seit fast 15 Jahren in der Branche. Ich stehe an derselben Stelle wie Dwarkesh. Ich habe in den letzten zwei Monaten Dinge gesehen, die mich absolut schockiert haben. Ein Team von Agenten, das ein Modell von Grund auf neu schreibt, in das jahrelange F&E geflossen war, und das Original in nur wenigen Tagen übertrifft. Ein Agent, dem jeder im Unternehmen einfach eine Experiment-ID schicken und sagen kann: „Verbessere das“, und der ein paar Stunden später mit etwa 20 Problemen zurückkommt, nachdem er Checkpoint-Gewichte und Gradientenschritte untersucht hat.
Diese Agenten kennen jedes Paper, jeden Trick, haben erstaunliche Instinkte und können 20 Ablationen programmieren und starten, bevor man seinen Arbeitsweg beendet hat. Ich finde, sie zu führen wird immer weniger nützlich. Ich habe noch nie meine Obsoleszenz so sehr auf mich zukommen fühlen wie jetzt.
- aabajian
Ich denke, der nächste Schritt für Entwickler ist, bestehende Technologien zu kombinieren. Zum Beispiel gibt es im Bereich der medizinischen Bildgebung Tausende veröffentlichter Algorithmen, die einmal (von dem Forscher, der das Paper veröffentlicht hat) implementiert, aber nie verwendet wurden. KI kann jetzt das Paper lesen und eine Implementierung in einem Versuch erstellen. Ich frage mich, ob es Durchbrüche geben könnte, wenn man solche Algorithmen kombiniert.
- zarzavat
Wenn KI eine verifizierbare Domäne ist, wie bringt man KIs dazu, Benchmarks zu konstruieren, die sie auf sich selbst anwenden?
Es scheint, dass die einzigen Benchmarks, die automatisch konstruiert werden könnten, die für Aufgaben sind, die selbst verifizierbar sind (Theorembeweise, Programmieren usw.).
Nicht verifizierbare Aufgaben erfordern Menschen, die definieren, was genau eine gute Arbeit ist.
Die RSI-Hypothese hängt von der Annahme ab, dass Fortschritte bei verifizierbaren Aufgaben auf nicht verifizierbare Aufgaben generalisieren.
- lavendermon
Was ich an KI-Vorhersagen faszinierend finde, ist die menschliche Natur, die sich dahinter widerspiegelt. Es scheint zwei Lager zu geben: Das erste umfasst den Autor dieses Essays, Leute, die langsam glauben, dass unbekannte Fähigkeiten, die noch nicht existieren, bald möglich werden und unmöglich vorherzusagen sind. Dieses Lager gewinnt aufgrund früherer Unbekannter, die sehr schnell gelöst wurden, eine zunehmende Zahl von Menschen. Daher ist der Glaube in dieser Gruppe gewachsen, dass AGI und andere große KI-Fragen wie massiver menschlicher Arbeitsplatzverlust nicht weit entfernt sein können.
Am anderen Ende des Spektrums sehen wir Leute, die immer noch Beweise wollen und ihre KI-Vorhersagen auf eine fernere Zukunft verschieben, indem sie auf aktuelle Einschränkungen hinweisen. Diese Gruppe scheint die Torpfosten nach Bedarf zu verschieben, um ihr Argument mit jedem neuen Fortschritt zu stützen. Wie der Autor des Artikels anmerkte, ist er von diesem Lager in das erste gewechselt. Ich bin auch in das erste gewechselt.
- jcmontx
Ich bin zu dem Schluss gekommen, dass das Einzige, wofür LLMs gut sind, das Schreiben von Code ist, und dass sie sich NUR in Dingen auszeichnen werden, die durch das Schreiben von Code gelöst werden können.
Der ganze Wirbel um die gelösten Mathematikprobleme war nur, dass LLMs Lean-Code geschrieben haben. Und abgesehen davon sind Agenten in Bezug auf Verhalten und Rechenschaftspflicht alles andere als menschlich. Sie sind wie alberne Kleinkinder mit viel Wissen.
Ich denke, KI kommt nicht für alle White-Collar-Jobs, sie kommt nur für Jobs, die mit Code gelöst werden können.
Man könnte argumentieren, dass sie Gehirnoperationen durchführen können, indem sie Code schreiben, der Anweisungen in einem Roboterarm-Skalpell ausführt. Nur die Zeit wird es zeigen.
Entschuldigung für das Geschwafel, ich kotze nur meine Gedanken aus.
- j2kun
Was hat dieser Autor getan, das darauf hindeuten würde, dass wir auf seine Meinung hören sollten?
- Dzugaru
Es geht nicht nur um verifizierbar oder nicht. Es geht auch darum, wie hoch die Früchte hängen im Vergleich dazu, wie gut deine Leiter (Suchheuristik) ist. NP-Zeug ist zum Beispiel leicht verifizierbar.
Absolut plausibel, dass diese Mathe-Lawine 1 cm tief war und schwierigere Probleme nicht ohne neue mathematische Theorien lösbar sind, die mit viel Verständnis und Geschmack (menschlicher Heuristik) konstruiert werden müssen.