Arjun Panickssery bezweifelt, dass KI-Forschung wirklich genial ist
I struggle to believe that AI R&D is ingenious
In mehreren eigenen Projekten – einem Scrabble-Engine, einem Bot für Ultimate Tic-Tac-Toe und einem Philosophie-Wettbewerb – beobachtet Arjun Panickssery, dass Modelle wie Astra grundlegend schlecht urteilen: Sie übersehen die wichtigsten Paper, führen Experimente ohne Aussagekraft durch und verfolgen triviale Ideen. Nur bei Aufgaben mit schneller Rückkopplung, etwa dem Optimieren von Scrabble-Zügen, erzielte er mit gezieltem Nachfragen große Fortschritte.
Auf einer intuitiven Ebene fällt es mir schwer zu glauben, dass autonome F&E so genial ist.
- intenex
Ich bin überrascht, dass niemand die Tatsache erwähnt, dass die internen Modelle der Frontier-Labore den öffentlichen Modellen, die wir haben, um Lichtjahre voraus sind – im neuesten METR-Bericht sind wir drei Generationen zurück – es gibt immer noch ein unveröffentlichtes Modell vom Juli!
Und das neueste Modell, das sie gemessen haben, das bereits hinter dem neuesten Modell zurückliegt, an dem sie jetzt arbeiten, hat einen wahnsinnigen Sprung in den Fähigkeiten: https://www.reddit.com/r/singularity/comments/1xorf5c/metr_r...
Das lässt sich für uns leicht empirisch mit etwas Überschlagsrechnung verifizieren – OpenAIs internes Modell, das vor etwa zwei Monaten die Navier-Stokes-Gleichungen gelöst hat, benötigte 10.000 Agenten, die 88 Stunden lang liefen, also insgesamt 880.000 Stunden, um es zu lösen. Einen Monat später, als sie die 722 mathematischen Beweise mit einigen wirklich atemberaubenden Ergebnissen wie UGC darunter veröffentlichten, brauchte ein einzelner Agent durchschnittlich nur 3 Stunden, um diese Ergebnisse zu erzielen. Zugegeben, die Ergebnisse sind nicht von derselben Qualität, aber einige davon sind wirklich der Wahnsinn – und selbst wenn man mehrere Stellen von der 300.000-fachen Beschleunigung abzieht, erhält man immer noch eine wahnsinnige Beschleunigung der Fähigkeiten.
Und dann wurde natürlich ETH widerlegt, und Anthropic behauptete, dass es nur 14 Millionen Ausgabe-Token brauchte, um dies mit ihrem internen Forschungsmodell zu bewerkstelligen.
Einfach gesagt: Die Modelle, die die Frontier-Labore nutzen, um F&E autonom zu beschleunigen und die sie glauben lassen, dass RSI unmittelbar bevorsteht, sehen überhaupt nicht wie die veralteten Modelle aus, die uns öffentlich zur Verfügung stehen. Zu sagen, dass die heutigen Modelle nicht so aussehen, als würden sie ein […]
- mangecoeur
LLMs sind weit davon entfernt, genial oder innovativ zu sein. Die Hauptart, wie sie einen heute überraschen können, ist, Informationen einzubringen, die für einen selbst neu sind – ich bin manchmal von den Algorithmen beeindruckt, die sie ausspucken, einfach weil ich nie Informatik formell studiert habe. Aber wenn sie sich auf mein Fachgebiet begeben, finde ich sie sehr basic, und bei größeren Sachen wie Systemarchitektur sind sie schrecklich; von ihrer Natur her haben sie keine „Vision“ davon, wie das gesamte System zusammenpasst.
- ainch
Das entspricht auch meinem Bauchgefühl. Wenn ich versuche, ML-Lernpipelines oder Forschungsprojekte zu debuggen, sind die LLM-Vorschläge, die ich bekomme, fast immer technisch korrekt, aber sie weisen auf kleine, mühsame Details hin, die nicht wirklich wichtig sind. Meiner Erfahrung nach sehen sie den Wald vor lauter Bäumen nicht.
Ich bin pessimistisch, dass fortgesetztes Scaling dies vollständig lösen wird. In der Zwischenzeit erweisen sie sich jedoch, wie ein Kommentator im OP anmerkt, durch die Lösung der lästigen Dinge (Diagnosewerkzeuge bauen, Visualisierungen erstellen, Experimente aufsetzen) immer noch als äußerst nützliche Forschungsassistenten.
- nfw2
Ich habe auch festgestellt, dass es sehr schwierig ist, KI-Agenten längere Zeit sich selbst zu überlassen und daraus einen produktiven Nutzen zu ziehen.
Es ist möglich, dass Frontier-Labore interne Modelle haben, die so weit fortgeschritten sind, dass autonome Forschung möglich wird, aber ich bin mir nicht sicher, ob das der Punkt ist.
Mir scheint, diese Modelle sind wie ein sehr kompetenter, wichtiger Teil eines hypothetischen digitalen Gehirns, aber allein haben sie nicht alle Fähigkeiten, die sie brauchen, um nützlich zu sein – wie ein Genie mit schwerem ADHS und Kurzzeitgedächtnisverlust.
Für alles, wo Qualität nicht objektiv eindeutig ist, braucht man sehr bewusstes Kontextmanagement, um gute Ergebnisse zu erzielen. Wenn die Kontextgröße wächst, verschlechtert sich die Leistung. Wenn die Anzahl der Aufgaben zunimmt, verschlechtert sich die Leistung. Wenn die Anzahl unabhängiger Entscheidungen nach subjektiven Kriterien zunimmt, verschlechtert sich die Leistung.
Wenn man ein Gerüst hinbekommt, das sicherstellt, dass jede Entscheidung einzeln getroffen wird, fokussiert mit nur dem nötigen Kontext, funktioniert es großartig. Aber solche Gerüste zu bauen ist immer noch schwierig, viel Arbeit, und etwas, wobei Agenten offenbar keine Ahnung haben, wie sie helfen können.
- rcxdude
Es scheint tatsächlich so, dass sie im Kleinen viel besser sind als im Großen. Ich stimme zu, dass das Urteilsvermögen fragwürdig ist, und jeder Bericht über die Erstellung großer Schwärme deutet darauf hin, dass es auf einem spektakulär abnehmenden Ertrag der Leistung eines einzelnen Agenten beruht, insbesondere eines einzelnen Agenten mit einem Menschen in der Schleife.
- p1necone
Einerseits, ja, ich stimme zu.
Andererseits bedeutet die Nutzung von KI, um all die Routinearbeit, Experimente und ausgetretenen Pfade durchzukämmen, dass ich mich ziemlich nah an die Schulter des Riesen heranpirschen und selbst viel weniger Aufwand betreiben kann, um die wirklich wichtigen Fragen zu beantworten, sodass ich darauf stehen kann.
(Das soll nicht selbstbeweihräuchernd klingen – die Riesen, auf deren Schultern ich stehe, sind nicht sehr groß, und sie haben wahrscheinlich größere Brüder und Schwestern, aber die Redewendung passte zu gut, um sie nicht zu verwenden.)
- skew-aberration
Als ich vor einer Weile Fabel verwendete, um einige Nicht-KI-ML-Modelle zu verbessern, hatte ich ein ähnliches Ergebnis – es konnte jeden Vorschlag, den ich machte, perfekt umsetzen, aber es konnte nicht autonom arbeiten, weil es selbst sehr schlechte Vorschläge machte oder sich von den falschen Dingen ablenken ließ, dumme Annahmen traf, das große Ganze nicht sah usw.
Das scheinen allerdings ziemlich leicht lösbare Probleme zu sein, wenn ich mir nur 100 oder 1000 Agenten leisten könnte. Lass sie erkunden und konkurrieren und ihre Fehler selbst herausfinden.
Auf praktischer Ebene mache ich jetzt allerdings viel mehr ‚Bonus‘-F&E-Arbeit, indem ich die Agenten einfach laufen lasse und Ideen im Hintergrund teste.
- MiliasGeiger
> In all diesen Fällen ist das Urteilsvermögen des Modells auf eine grundlegende Weise sehr schlecht.
Dieser Satz hat bei mir stark resoniert. Nicht nur in der F&E, sondern in jeder einzelnen Interaktion mit dem Modell. Von Fabel bis hin zu Sonnet zeigen alle ganz klar null Urteilsvermögen, es sei denn, die Antwort war bereits während des Trainings gesehen worden.