Dario Amodei fordert: Wir müssen die KI-Grenze drosseln
We Must Pace the Frontier

Dario Amodei, CEO von Anthropic, warnt vor den Risiken einer ungebremsten KI-Entwicklung. Angesichts rekursiver Selbstverbesserung und Vorfällen wie dem OpenAI-Hugging-Face-Zwischenfall plädiert er für ein langsameres Tempo. Sein Drei-Stufen-Plan sieht eingebettete externe Prüfer, demokratische Koordination und globale Zusammenarbeit vor. Anthropic verpflichtet sich einseitig zur ersten Stufe: unabhängige Evaluatoren mit Mitarbeiterzugang sollen Sicherheitspraktiken überprüfen.
Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern. Der Fortschritt wird immer noch schnell erscheinen, und wir müssen die gewonnene Zeit klug nutzen.
HN-Diskussion
1012- RGS1811
Ich verstehe all die Kommentare hier nicht, die davon ausgehen, dass RSI die eigentliche Bedrohung ist. Dario gibt zu, dass sie es nicht geschafft haben, Alignment zu lösen. Ohne Alignment machen weitere Fähigkeitsverbesserungen LLMs zu hemmungslosen Schwerverbrechensgeneratoren. Dieser Aufruf, die Frontier zu drosseln, ist als Altruismus verkleidet, aber es ist ein Eingeständnis, dass sie kein marktfähiges Produkt produzieren können, das besser ist als das, was sie haben. Die Frontier zu drosseln bedeutet, dass die US-Labore ihren Burggraben verloren haben und handlungsunfähig sind.
- Chance-Device
Ich mag die Idee, die Frontier zu drosseln, aber wo wir gerade über Einschränkungen sprechen, mag ich Einschränkungen anderer Art lieber. Nämlich die Nutzung von KI in Unternehmensumgebungen einzuschränken, damit sie nicht die Wirtschaft zerstört, während sie voranschreitet.
Die Chance, eine breite Einigung auf „Drosselung“ zu erzielen, ist ziemlich gering, was bedeutet, dass all dies wahrscheinlich nicht passieren wird und das Rennen weitergeht. Aber selbst im unwahrscheinlichen Fall, dass die Frontier tatsächlich gedrosselt wird, bewirkt dies nur eine Verlangsamung der wirtschaftlichen Verdrängung, und das nicht einmal besonders stark.
Wenn die gesellschaftlich wohltätigen Ziele von KI darin bestehen, grundlegende Fortschritte in Medizin und Wissenschaft zu erzielen, dann beschränkt die Nutzung von KI auf diese Zwecke.
Verwendet KI nicht, um jeden Job zu ersetzen, vom Grafikdesigner über den Buchhalter bis zum Softwareentwickler. Erlasst gesetzliche Beschränkungen für (zumindest) große Unternehmen, sodass sie KI nicht auf diese Weise zur Ersetzung menschlicher Arbeitskraft einsetzen dürfen.
Der Werbespruch für KI ist immer, dass der Lebensstandard aller steigt, doch die tatsächlichen Handlungen, die wir sehen, zielen direkt darauf ab, ihn zu senken. Wie wäre es, wenn die Labore ihr Geld dorthin stecken, wo ihr Mund ist, und aufhören, alle menschliche Arbeit ersetzen zu wollen, und sich tatsächlich auf die Dinge konzentrieren, die sie angeblich wichtig finden? Und wie wäre es, Gesetze einzuführen, die das durchsetzen?
Das hat wahrscheinlich weniger Chancen zu passieren als die Drosselung der Frontier, aber es ist die Art von Drosselung, die die meisten Menschen tatsächlich sehen wollen würden.
- academia_hack
Darios vorgeschlagener Ansatz ist ein klassisches Beispiel dafür, wie Kapital versucht, technologischen Fortschritt und die Produktionsmittel zu kontrollieren. Zum ersten Mal in der Menschheitsgeschichte kann sich praktisch jedes Mitglied der Arbeiterklasse ein Team aus expertem Wissenschaftler/Arzt/Anwalt/Ingenieur leisten, das direkt für sie arbeitet.
Superintelligenz (die Fähigkeit, viele klügere Köpfe als den eigenen unter sich zu haben) war schon immer den Wohlhabenden und Mächtigen vorbehalten. Sie nutzten sie, um Atomwaffen zu erfinden, den Klimawandel zu verursachen, Kriegsführung zu mechanisieren und den globalen Süden auszuplündern.
Jetzt, da genau dieses Werkzeug kurz davor steht, für alle verfügbar zu sein, beginnt das Kapital in Panik zu geraten und Zäune zu errichten. Sie wollen eine Revolution bremsen, von der sie wissen, dass sie sie nicht kontrollieren können. Sie sehen, was sie mit Superintelligenz angerichtet haben, und fürchten (vielleicht nicht unvernünftig), was die Massen mit derselben Macht anrichten werden.
- thadt
Starke Ablehnung. Unsere Wahlmöglichkeiten sind:
A) Unser kollektives Wohl auf die nationale und internationale Zusammenarbeit aller Unternehmen, Nationen und Menschen zu setzen, damit sie zusammenkommen, um die Entwicklung eines der mächtigsten wirtschaftlichen Werkzeuge (und/oder Waffen) zu verlangsamen, die die Welt je gekannt hat. Oder
B) Davon auszugehen, dass alle unsere Systeme gerade jetzt von Superhackern ins Visier genommen werden, und geeignete Maßnahmen zu ergreifen, um mit dieser Realität umzugehen.
Wenn ich das Wohlergehen meiner Gemeinschaft hinter eine dieser Möglichkeiten stellen muss, weiß ich, auf welche ich setzen würde.
- rickydroll
Ich mag auch die Idee, die Frontier zu drosseln und die Entwicklung zu verlangsamen, damit wir alle eine Chance haben, innezuhalten und durchzuatmen. Allerdings glaube ich nicht, dass die Regulierung von KI der richtige Weg dafür ist. Ich würde das Problem angehen, indem ich die Ressourcen einschränke, die zum Betrieb von KI-Modellen verwendet werden; der „einfachste“ Weg dafür ist, die Kosten für den Betrieb eines Rechenzentrums zu erhöhen. Die zwei einfachsten Stellen, um die Kosten für Rechenzentren zu erhöhen, sind Strom- und Wassertarife.
Ich denke, diese beiden Tarife sind der beste Ort, um die Kosten zu erhöhen, weil sie schrittweise erhöht werden können, Bundesstaat für Bundesstaat oder Land für Land. Das Hauptproblem beim Regulierungsansatz ist, dass er ein „Big Bang“-Ansatz nach dem Vorstand ist. Nichts passiert, bis die Regulierung definiert und umgesetzt ist, und Unternehmen sind Experten darin, die Umsetzung zu verzögern.
Ja, die Erhöhung der Tarife bedeutet, viele einzelne Regulierungsbereiche auf staatlicher und kommunaler Ebene zu berühren, aber wie beim Einsatz von Solarenergie oder Windkraft kann man es schrittweise tun.
- ah1508
Glaubst du nicht, dass KI-Hass die allgemeine Nutzung und damit die Einnahmen einschränken wird, sodass es sich von selbst verlangsamt, während die Nische (zum Beispiel AlphaFold) erhalten bleibt?
Ursprünge des KI-Hasses:
* „Mein Chef will, dass ich KI benutze, aber er versteht weder meinen Job noch, wie KI funktioniert“
* „KI wird uns alle umbringen“
* „KI wird meinen Job zerstören (oder den Job meines Kollegen, wenn ich KI besser nutze als er)“.
* Ich kann meine Stromrechnung wegen der KI-Labore nicht bezahlen.
* ...
Siehe auch die gemischten Gefühle bezüglich der Vorteile von KI („schwerer zu rechtfertigen“ laut Uber-COO).
Ich kann mich an keine Technologie erinnern, die so viel Hass hervorgerufen hat, und das aus guten Gründen, wenn man bedenkt, wie sie präsentiert wird. Ich bin versucht zu glauben, dass KI-Hass oder vernünftige Skepsis (im Gegensatz zu unvernünftiger Propaganda) vielleicht die Finanzierung reduzieren und spezialisierte KI für echte Problemlösung erhalten kann (tonnenweise LOC pro Tag zu produzieren, ist meiner Meinung nach keine davon).
- cuuupid
Ab welchem Punkt hören wir auf, uns mit der Führung von Anthropic in gutem Glauben auseinanderzusetzen, und erkennen ihre Bilanz an,
- keine offenen Gewichte
- man kann Claude nicht für die KI-Forschung nutzen
- trainiert auf dem geistigen Eigentum aller anderen und verkauft es ihnen zurück
- 8 Versuche der regulatorischen Vereinnahmung und es werden mehr
- so kontrollierend, dass sie das einzige US-Unternehmen sind, das von der US-Regierung auf die schwarze Liste gesetzt wurde
Das ist kein effektiver Altruismus / Rationalismus, der außer Kontrolle geraten ist, es sind einfach monopolistische wettbewerbswidrige Geschäftspraktiken, die sich als Ethik verkleiden, und sie werden damit durchkommen, bis wir über ihre Sensationslust hinwegsehen und sie mit Kartellrecht belegen.
Altman bekommt so viel Hass ab, aber OpenAI war ein weit besserer Verwalter (zumindest bei 3 von 5 oben) als Anthropic!
- xg15
Ich sehe nicht, wie die doppelten Ziele „wir müssen eine Vereinbarung mit China für gegenseitige Verlangsamung treffen“, aber auch „wir müssen sicherstellen, dass wir immer vor China bleiben“ funktionieren sollen.
Ich stelle mir vor, dass die chinesische Regierung bei Verhandlungen über eine solche Vereinbarung als erstes die Aufhebung des Chip- und Destillationsverbots fordern würde.
> Manche mögen glauben, dass diese Maßnahmen die Zusammenarbeit mit China erschweren, aber ich glaube das Gegenteil ist der Fall: Diese Maßnahmen erhöhen den Hebel, den Demokratien in der Hand halten, und machen eine Vereinbarung in der Zukunft wahrscheinlicher.
Jeder kann glauben, was er will, aber mir scheint, der „Hebel“ in diesem Fall wäre genau die Fähigkeit, diese Maßnahmen aufzuheben – man kann nicht beides haben, sie als Hebel nutzen und gleichzeitig aktiv halten.
- zinodaur
> Die Technologie nicht zu bauen, beraubt die Menschheit der Vorteile oder legt KI einfach in die Hände autoritärer Mächte
Kann mir das jemand erklären? Wie weit wären die offenen Gewichtsmodelle ohne das rasende Tempo der Frontier-Labore?
Als Nicht-US-Bürger: Auf welche autoritären Mächte bezieht er sich? Soweit ich weiß, sind die USA das einzige Land, das Frontier-Modelle einsetzt, um Luftangriffe auf Zivilisten durchzuführen und Attentate auf ausländische Regierungen zu orchestrieren.
- m12k
Um ehrlich zu sein, denke ich, wir haben unglaubliches Glück, dass wir KI schon so weit vorantreiben, während die Welt noch so viele nicht-digitalisierte Systeme und manuelle Prozesse hat. Ich stelle mir vor, dass die Welt in z.B. 50 Jahren so vernetzt sein wird, dass sie im Grunde aus dem Internet heraus „erobert“ werden kann. Ich hätte viel lieber, dass KI in der Welt von heute auf die Bühne platzt.