Könnte die Automatisierung von KI-Forschung eine Intelligenzexplosion auslösen?
Understanding Frontier Artificial Intelligence
Ein Forschungsteam der University of Cambridge warnt: KI-Systeme schreiben bereits den Großteil des Codes in ihren eigenen Entwicklungsabteilungen. Wenn die Automatisierung der KI-Forschung voranschreitet, könnte eine Intelligenzexplosion jahrelange Fortschritte in Monaten komprimieren. Das hätte enorme Chancen, aber auch extreme Risiken: Die Menschheit könnte die Kontrolle über superintelligente Systeme verlieren, und Machtkontrollen innerhalb und zwischen Staaten, Unternehmen und Regierungszweigen könnten erodieren. Die Autoren fordern dringend mehr Transparenz und politische Steuerungsmechanismen.
KI-Systeme sind auf dem Weg, den Großteil der KI-Forschungs- und Entwicklungsarbeit innerhalb weniger Jahre zu automatisieren – möglicherweise sogar die gesamte.
- visarga
Ich denke, die Prämisse einer unkontrollierten Intelligenzexplosion ist eine Art naiver Platonismus. Sie ignoriert völlig den Prozess – wie wir interagieren und Feedback sowie Bestätigung von außen erhalten – und behandelt Intelligenz als etwas, das sich über Domänen hinweg übertragen lässt.
Meine Auffassung ist, dass man mit KI (und Gehirnen) nur ideieren kann, aber Wissen entsteht aus dem Kontakt dieser Ideen mit der Welt. KI besser zu machen, macht Feedback nicht billiger, schneller oder reichlicher; es ist domänenspezifisch. Und Intelligenz überträgt sich nicht von einer Domäne auf eine andere – ich mag ein guter Herzchirurg sein, das macht mich nicht zu einem guten Investor oder KI-Forscher.
Einstein war vergesslich, Ramanujan und Gödel konnten einfache Dinge wie Ernährung nicht bewältigen. Gödels Angst, vergiftet zu werden, machte das Essen davon abhängig, dass Adele sein Essen probierte. Wir alle kennen jemanden, der in einem Bereich ein Genie sein könnte und in vielen anderen Bereichen unterdurchschnittlich.
Warum gilt Intelligenz nicht einfach über alle Domänen hinweg? Warum sind unsere Promovierten hyper-spezialisiert auf ihre Domänen und keine Generalisten? Warum kann ein brillanter Wissenschaftler nicht einfach seine eigene Legasthenie heilen und kämpft trotzdem – wenn Intelligenz auf jede Domäne übertragbar wäre?
Die Explosionsgeschichte braucht Intelligenz als eine einzige Substanz, die größer wird und in jede Domäne fließt; ich bestreite, dass Intelligenz allgemein ist.
- sgt101
Das hier ist viel besser:
https://www.rameznaam.com/p/471bbae4-1163-4048-944b-18f8b0bf...
- bob1029
Ich denke, das vielversprechendste rekursive Bootstrapping besteht darin, die aktuellen Blackboxen der linearen Algebra zu nutzen, um bessere Wege zur Konstruktion konkurrenzfähiger symbolischer Modelle zu finden.
Die ultimative Repräsentation für ein KI-Modell ist ein gewöhnliches Computerprogramm. Idealerweise als lineares Band von Anweisungen. Sobald wir an der Spitze ein solches Modell haben, wird das RSI-Monster meiner Meinung nach viel plausibler.
- andy_ppp
Also, das Vorhersagen des nächsten Wortes angesichts des gesamten Wissens der Menschheit wird sicherlich bei etwas weniger gut (wir können wahrscheinlich keine perfekten Daten bekommen) als der beste Mensch in einem bestimmten Fachgebiet ausmaxen. Welchen Test führt die KI durch, um zu verstehen, dass sie sich verbessert? Ab einem gewissen Punkt wird es unmöglich, zu wissen, dass die Ausgabe tatsächlich besser ist, oder?
- lordnacho
Ab welchem Punkt wird die menschliche Intelligenz die maschinelle Intelligenz zurückhalten?
Stellen Sie sich vor, Sie bewerten, was die Maschine tun soll, wenn sie sich selbst verbessert. Sie leistet eine Menge Arbeit und kommt zurück mit: „Ich habe die liminale Überzerlegung aus dem vorherigen homologischen Kalibrierungsdurchlauf supervaluiert. Es zeigt uns, dass subtransitorische Mulutination den Tensor der Stellmullifikation unterspezifizieren wird. Wie wollen Sie von hier aus weiter vorgehen?“
Es wird sein wie wenn Sie eine Wikipedia über ein Thema lesen, das Sie nicht verstehen. Sie folgen den Links, und Sie bekommen mehr Fragen mit mehr Links. Ihr ganzer Tag wird damit verbracht, Links zu folgen, bis zu dem Punkt, an dem Sie die ursprüngliche Frage vergessen haben.
Nur dass diesmal alle Wörter aus der Arbeit der KI stammen. Sie können sich nicht auf eine externe Autorität berufen, die schon dort war und Ihnen sagen kann, was zu tun ist.
Die KI braucht Sie, um ihr zu sagen, ob sie intelligenter ist als zuvor, aber Sie wissen es nicht, weil Sie ihrer Argumentation nicht mehr folgen können. Es ist wie wenn eine gewöhnliche Person versucht, einen Mathematikprofessor einzustellen – es gibt einfach keine Möglichkeit, das zu tun.
Aber während ein menschlicher Mathematikprofessor einen anderen bewerten kann, kann eine maschinelle Intelligenz konstruktionsbedingt keine andere bewerten. Denn es ist immer noch die Nützlichkeit für Menschen, die das Bewertungskriterium darstellt.