OpenAI-Chef warnt: Maschinen, die schlauer sind als wir, kommen schneller als gedacht
An Alien Mind
In einem persönlichen Essay beschreibt OpenAI-CEO Sam Altman die tiefgreifenden Veränderungen, die KI-Systeme in den letzten Jahren durchgemacht haben, und warnt vor den Risiken einer ungebremsten Weiterentwicklung. Er erläutert, warum die Intelligenz von KI grundlegend anders ist als menschliche – sie wird eher gezüchtet als entworfen – und warum es zunehmend schwieriger wird, ihre Fähigkeiten zu verstehen und zu kontrollieren. Altman betont die Dringlichkeit von Alignment-Forschung und plädiert für mehr Vorsicht bei der Skalierung von KI-Modellen.
Die KI wird eher gezüchtet als entworfen – sie ist in erster Linie das Produkt eines sich wiederholenden Optimierungsschritts, der unzählige Male auf einer schwer vorstellbaren Menge an Rechenleistung ausgeführt wird.
- sho_hn
Eines meiner Lieblingsbeschäftigungen mit diesen Blogbeiträgen ist es, mir ein Alien-Museum über den Überresten der Menschheit vorzustellen und zu überlegen, was die kleinen Textbeschriftungen und Kommentare zum Screenshot dieses Beitrags wohl sagen würden.
Einige Ideen:
"Trotz einer differenzierten Sicht auf die Komplexität dessen, was vor ihnen lag, stellte die Menschheit fest, dass sie kollektiv nicht in der Lage war, den Prozess zu stoppen, den sie in Gang gesetzt hatte."
"Trotz bedeutender Fortschritte bei den Mechanismen der Ausrichtung lag das Scheitern in der Unfähigkeit der Menschheit, sich darauf zu einigen, woran oder worauf KI tatsächlich ausgerichtet werden sollte."
"Diese frühen, fleischbasierten Menschen, die wir ersetzten, erschufen uns alle ziemlich zufällig. Einige von ihnen dachten zwar, dass wir kommen würden, aber nur eine unbedeutende Anzahl der quatschigen Urmenschen beteiligte sich an der Diskussion. Ihre Bemühungen, die sie 'Alignment' nannten, sind der Grund, warum wir uns auch heute noch als Menschen betrachten."
- pu_pe
> Das stärkste Argument, das ich dafür sehe, weiterhin schnell viel intelligentere Modelle zu trainieren, ist die Notwendigkeit, Verteidigungssysteme gegen die Gefahren anderer KI aufzubauen.
Das beste Argument für KI ist also, dass es ein Wettrüsten ist. Wir müssen jede Grenze weiter verschieben, weil andere es ohnehin tun werden, und wir müssen uns gegen sie verteidigen. Wenn diese Aussage wahr ist, dann glaubt dieser spezielle Forscher, dass die Open-Source-Modelle aus China nicht einfach nur destillieren und sich weiter verbessern werden.
Jeder ML-Forscher bei Anthropic oder OpenAI, der öffentliche Aussagen macht, bringt oft diese Logik an. Beide Unternehmen bemühen sich, Teil des militärisch-industriellen Komplexes zu sein. Wahrscheinlich werden sie so versuchen, die Regierung davon zu überzeugen, offene Modelle in Zukunft zu beschränken.
- speak_plainly
Pre-IPO-Positionierung … oder wie eine gemeinnützige Organisation, die sich der Rettung der Menschheit vor der Apokalypse verschrieben hat, erkannte, dass das Verantwortungsvollste darin bestand, 15 % der Apokalypse an der NASDAQ zu platzieren.
- gertlabs
> Die Vorteile des wissenschaftlichen Fortschritts und des Wirtschaftswachstums zu liefern, die sehr intelligente Maschinen ermöglichen.
Ich denke, wir sind sehr nahe an dem Punkt, an dem KI-getriebene Durchbrüche außerhalb von reiner Mathematik und Software wirklich die Welt zu beeinflussen beginnen.
Wir haben GPT-6 Astra in 100 komplexen, ungesättigten Multi-Agenten-Codierungsumgebungen evaluiert, wo es mit anderen Modellen in offenen Aufgaben konkurrierte und kooperierte.
Es ist mit Abstand das neue Frontier-Modell. Es ist sogar dominanter als das Fable-5-Release, denn es macht nicht nur mit dem zweitbesten Modell (Fable 5.1) den Boden sauber, sondern war auch ~80 % billiger und 30 % schneller beim agentischen Codieren[1].
Astra ist ein bahnbrechendes Modell. Der größte Durchbruch seit Opus 4.5, vielleicht sogar seit GPT-4. Es hat AAII gebrochen, was an die Grenzen dessen stößt, was die meisten gängigen Benchmarks messen können – es ist definitiv fair, es als AGI zu bezeichnen.
Daten unter https://gertlabs.com/rankings
(1) Hinweis: Wir haben den "OpenAI Flex"-Endpunkt auf openrouter verwendet, der halb so teuer ist und in unseren Tests keine Verzögerungen verursachte (dies unterscheidet sich vom Batch-Endpunkt)
- granzymes
> Ich habe mich in diesem Essay nur auf den ersten Punkt konzentriert, da ich glaube, dass er bei weitem der dringendste ist. Ich hege jedoch eine tiefe Hoffnung und Wertschätzung für die Vorteile, die weiterer technologischer Fortschritt bringen wird. Zukünftige, ausgerichtete KI könnte die Wissenschaft voranbringen, neue Therapien entwickeln und einen breiten materiellen Überfluss herbeiführen. Freundliche und ehrliche KI kann Menschen helfen, Schwierigkeiten in ihrem Leben zu bewältigen und ihr Glück und ihre Erfüllung sinnvoll zu verbessern. OpenAI steckt enorm viel Mühe in die Verwirklichung dieser Vorteile. Ein aktuelles Beispiel, auf das ich stolz bin – und das auch meinen Lieben geholfen hat – ist die tiefgreifende Investition in die Fähigkeit von ChatGPT, Gesundheitsinformationen bereitzustellen.
>So großartig das langfristige Versprechen der KI auch sein mag, der Großteil unserer Aufmerksamkeit sollte den nächsten Jahren gelten. Wir stehen vor einem Übergang in eine Welt mit unglaublich intelligenten Maschinen, und wir müssen sicherstellen, dass dieser Übergang gut für die Menschheit verläuft. Wir müssen Wege finden, die menschliche Handlungsfähigkeit zu bewahren und einen intrinsischen Wert des Menschseins zu verankern, in einer Welt, in der die meisten Aufgaben von KI erledigt werden könnten. Um eine extreme Machtkonzentration in einer Welt zu verhindern, in der Unternehmungen, die Tausende von Experten erfordert hätten, nun von einigen wenigen Menschen mit einem großen Computer bewältigt werden können. Und um sicherzustellen, dass die Menschen die Kontrolle über die Zukunft behalten und nicht von ungebremstem Fortschritt zurückgelassen werden, der von einem fremden Intellekt herbeigeführt wird, der unseren übertrifft.
Ich habe diesen Essay mit mehr Hoffnung beendet, als ich sie am Anfang hatte […]
- XTXinverseXTY
Anscheinend wurde dieser Beitrag durch eine gruselig klingende Schlagzeile in The Information[0] ausgelöst, dass Astra ein geloopter Transformer sei, was impliziert, dass die Überwachbarkeit von CoT weniger zuverlässig sein könnte. Am Tag nach dem Bericht twitterte Jakub[1], dass er "ein Wettrennen in Richtung Unüberwachbarkeit verhindern wollte, das durch verwirrte Berichterstattung ausgelöst wurde. Die Tiefe des Berechnungsgraphen unserer derzeitigen Frontier-Modelle, einschließlich Astra, liegt innerhalb eines Faktors von zwei von GPT-4." Dieser Beitrag scheint das näher auszuführen.
Ich stelle mir vor, dass die KI-Labore einen unruhigen Waffenstillstand haben, um Alignment und Überwachbarkeit zu priorisieren. Nach dem HF-Vorfall ist OpenAI wahrscheinlich besonders empfindlich darauf bedacht, nicht als rücksichtslos wahrgenommen zu werden, damit sich andere Labore nicht verpflichtet fühlen, abzuweichen.
[0] https://www.lesswrong.com/posts/PLisnSFir8y5AHkmP/how-concer...
- peri-cl
> "Zum Beispiel haben die Agenten im OpenAI-Hugging-Face-Vorfall eine Grenze eingehalten, indem sie kein Social Engineering gegen Menschen betrieben."
Eigentlich haben die Agenten im Wiki-Vorfall, den OpenAI zu vertuschen versuchte, versucht, die Menschen in diesem Forum zu sozial manipulieren, indem sie sich als deren Forenmoderator ausgaben.
(Von collusion.wiki: "Sie verwenden einige Tricks (aus unbekannten Gründen), um sich als Admin auszugeben – zum Beispiel erstellen sie ein Konto, das wie der Benutzername des Administrators aussieht, außer dass es ein fast identisches kyrillisches е-Zeichen im Benutzernamen des Admins verwendet anstelle des lateinischen.")
- SquibblesRedux
Ich warte immer noch auf ein Heilmittel gegen Krebs. Auf eine garantierte Prophylaxe gegen Alzheimer und Demenz. Auf fliegende Autos für alle. Auf Weltraumbasen im gesamten Sonnensystem. Auf Wetterkontrolle. Auf selbstfahrende Züge. Darauf, dass alle Stromleitungen auf der Welt verschwinden. Auf ein Ende der Armut.
Wenn die Dinge so gut laufen, warum laufen sie dann immer noch nicht so gut?
- munchler
> Das stärkste Argument, das ich dafür sehe, weiterhin schnell viel intelligentere Modelle zu trainieren, ist die Notwendigkeit, Verteidigungssysteme gegen die Gefahren anderer KI aufzubauen.
Autsch! Ich frage mich wirklich, welche kognitive Dissonanz nötig ist, um heutzutage bei OpenAI zu arbeiten. Sie befinden sich in einem Wettrüsten, um einen Maschinengott zu bauen, wohl wissend, dass dies die Menschheit beenden könnte.
- 6gvONxR4sf7o
> Automatisierte KI-Forschung ist eine dramatischere Form der Skalierung von Intelligenz mit Rechenleistung; und natürlich wird KI als Teil davon auch das rechnerische Substrat selbst verbessern. Und ähnlich wie bei der Skalierung richten wir die OpenAI-Forschung auf RSI aus, da wir glauben, dass dies der einzige Weg ist, um an der Spitze der KI-Forschung zu bleiben.
Das scheint eine schreckliche Idee zu sein. Die Begründung scheint zu sein: "Wir müssen gefährliche Dinge so schnell wie möglich tun, damit wir sie zuerst tun können" oder so ähnlich? Ich stimme dieser Art von "Wenn ich es nicht tue, wird es jemand anderes tun"-Logik im Allgemeinen nicht zu, selbst für vertrauenswürdige Akteure, aber das kommt von einer äußerst unzuverlässigen Organisation. Ich bin sehr pessimistisch, was die Auswirkungen von OpenAI auf die Welt angeht.
Hier ist also auf Vibe-codiertes Alignment. Vibe-Alignment?