KI-Labs wollen nicht das Tempo drosseln, sondern das Rennen gewinnen
Pacing the Frontier is not the actual goal for AI labs
Dario Amodei fordert in einem neuen Beitrag, die Geschwindigkeit der KI-Entwicklung zu verlangsamen, um Risiken zu beherrschen. Doch ein LessWrong-Autor widerspricht: Seit der CAIS-Erklärung 2023 hätten die führenden Labs kaum etwas unternommen, das diesem Anspruch genüge – im Gegenteil, sie hätten beschleunigt. Amodeis frühere Aussagen und die Reaktionen auf Claude 3 zeigten, dass viele erwartet hatten, Anthropic bleibe bewusst etwas hinter der Frontier zurück. Der Autor vergleicht die Beteuerungen mit einem Kettenraucher, der ständig vom Rauchen lässt, aber nie damit aufhört.
Stellen Sie sich vor, Ihr bester Freund ist ein Kettenraucher, der Ihnen ständig erzählt, dass Rauchen ihn eines Tages umbringen wird, und Ihnen verspricht, er tue sein Bestes, um seinen Konsum zu reduzieren. Er verbringt sogar viel Zeit im Fernsehen und schreibt Blogbeiträge über die Gefahren des Zigarettenrauchens, spricht aber noch häufiger über die kognitiven Vorteile von Nikotin. Doch jedes Mal, wenn Sie ihn treffen, sehen Sie ihn nur kettenrauchen, und er scheint die Zahl der Schachteln, die er pro Tag durchzieht, immer weiter zu erhöhen.
- nonethewiser
Wir haben bereits einen Blick in die Zukunft.
- Anthropic hat allen erzählt, Mythos sei gefährlich wegen seiner Fähigkeiten in Biologika und Cybersicherheit
- Anthropic hat Mythos nicht wie alles andere veröffentlicht. Sie haben eine kastrierte Fabel veröffentlicht. Sie haben Mythos nicht losgeworden
- Anthropic eröffnet ein Labor in SF
Es gab immer die Frage: "Werden die Labore aufhören, ihre Modelle zu veröffentlichen, und stattdessen um sie herum bauen?" Ja – das haben sie bereits getan. Anthropic ist ein Biologika- und Cybersicherheitsunternehmen, zusätzlich zur Intelligenz.
Ich persönlich frage mich, ob sie eine Menge zurückgehalten haben. Opus 5.5 war eine gute Veröffentlichung nach einer kleinen Stagnation. Open AI veröffentlicht gute Modelle und alle sagen, Anthropic sei scheiße und – oh, sieh mal einer an – endlich ein besseres Modell und plötzlich.
- teravor
Ich fand es immer seltsam, dass Leute, die intelligent genug sind, um in IQ-belasteten Bereichen zu arbeiten, genauso leicht durch Rhetorik oder Ideologie manipulierbar sind wie jeder andere.
Als ich aufwuchs, nahm ich immer an, dass jeder irgendeinen Aspekt der Spieltheorie intuitiv erfassen würde. Ich erinnere mich noch an den Tag, an dem ich herausfand, dass es so etwas wie Spieltheorie gibt – es war, als würde man erfahren, dass jemand den gesunden Menschenverstand erfolgreich systematisiert hat.
Die meisten Leute nehmen die Dinge, die Leute sagen, als wären sie es wert, in Betracht gezogen zu werden. Signale ohne Kosten sind nur nützlich als Wissen darüber, was der Signalgeber Narren glauben lassen will.
- krat0sprakhar
> Die Motivationen der Leute, die die KI bauen, sind nicht dieselben wie die der Leute, die die Labore leiten. Wenn man sich die letzten Jahre ansieht, war es eine Einbahnstraße von OpenAI zu Anthropic, und der Hauptgrund scheint nicht bessere Bezahlung oder gar ihr Gewinnen zu sein, sondern hauptsächlich die Tatsache, dass sie diesen Mitarbeitern versprochen haben, dass sie am vorsichtigsten sein würden beim Bau dieser Wunderlampe. Ihre Haltung um 2023 / 2024 war einer der Schlüsselgründe, warum sie diese Talente anziehen konnten.
> Wenn man den jüngsten Nachrichten glaubt, scheint die Kultur von Anthropic auch heute noch stark auf diesem Effekt zu beruhen
> Meiner Meinung nach war es der führende Faktor dafür, die besten Mitarbeiter zu gewinnen und zu halten, die oft sehr besorgt darüber sind, dass die Menschheit durch Superintelligenz stirbt.
Ich hatte diesen Standpunkt nicht in Betracht gezogen, aber er ergibt sehr viel Sinn. Viele Anthropic-Mitarbeiter glauben das wirklich und nennen den Schwerpunkt auf Sicherheit als einen Hauptgrund, warum sie dort arbeiten. Jetzt ergibt Darios Beitrag "Pacing the frontier" sogar Sinn – er ist genauso für seine Mitarbeiter wie für den Rest der Welt.
- ineedasername
Dieser Artikel ist von Anfang an völlig fehlerhaft, wenn er behauptet, es sei nichts getan worden, keine tatsächlichen Anstrengungen unternommen worden. Eine einfache Suche nach "Welche Anstrengungen wurden unternommen und welche Schutzmaßnahmen wurden nach der CAISS-Erklärung von 2003 ergriffen?"
Er zeigt auch denselben Denkfehler wie viele Kritiken an einer vorsorglichen Initiative oder Intervention bei einem Problem:
Man nimmt an, dass ein Problem, dessen Verlauf sich zu Beginn der Initiative an einem bestimmten Punkt befand, einfach deshalb gescheitert ist, weil es nicht nach dem eigenen Wunsch-Zeitplan oder Erfolgsstandard gelöst wurde, oder dass es nicht bedeutsam von dem abgewichen ist, was es sonst gewesen wäre.
Was ist daraus geworden, zu erkennen, dass es schwierige Probleme gibt, dass verschiedene Dinge ausprobiert werden müssen, oder dass das Ausprobierte Teillösungen waren, aber keine vollständigen?
- bentt
Der Artikel sagt, die Hauptmotivation der KI-CEOs sei, Talente zu halten, indem sie die richtigen Talking Points für ihre Mitarbeiter nachplappern. Für OpenAI ist das: "Unser Scheiß ist so mächtig, wir haben Angst davor ... Wir brauchen Regulierung!" Für Anthropic ist es: "Dieser Scheiß ist verrückt! Es könnte außer Kontrolle geraten! Wir sind die Guten, und du willst in diesem Kampf einen Guten mit einer Waffe."
Aber ich denke, sie beide denken dasselbe, nämlich ... "Wir werden bei diesem Tempo kein Geld mehr haben."
Aber! Wenn einer von ihnen blinkt und den Geldhahn vor dem anderen zudreht, könnten sie zurückfallen. Zurückfallen bedeutet, für immer zu verlieren. Und wenn es eines gibt, was ein CEO hasst, dann ist es, gegen einen rivalisierenden CEO zu verlieren.
Was sie also wollen, ist, jemanden, irgendjemanden dazu zu bringen, die Bremse bei ihren Rivalen und ihnen gleichzeitig zu betätigen, damit beide Nicht verlieren und Am Leben bleiben können. Unter diesen neuen Regeln sind sie zuversichtlich, gewinnen zu können. Und mit gewinnen meine ich, den anderen KI-CEO zu schlagen.
Das ist es. Es geht immer um persönliche Anreize. Komm mir nicht mit diesem Sicherheits-BS. Diese Typen wollen einfach nur gewinnen.