Die Debatte um künstliche Superintelligenz hat ernste Schwächen

The AI Superintelligence Debate Has Serious Flaws

Die Debatte um künstliche Superintelligenz hat ernste Schwächen

Anthropic-Forscher warnen offen, ihre Produkte könnten die Menschheit auslöschen. Doch die technische Grundlage dieser Angst – die rekursive Selbstverbesserung – ist hochspekulativ. Ein Informatiker prüft drei Einwände: fehlende Trainingsdaten, die Grenzen der Berechenbarkeit und die Frage, ob Alignment bei richtiger Systemarchitektur überhaupt das Problem ist. Selbst wenn die Intelligenzexplosion ausbleibt, kann das Streben danach echten Schaden anrichten.

Jacob hat recht – wir glauben wirklich ernsthaft, dass KI alle Menschen töten könnte!
  1. saagarjha

    Ich stimme den Richtlinien und Vorhersagen der Labs zu RSI nicht unbedingt zu, aber es ist erwähnenswert, dass sie auf die hier vorgebrachten Punkte tatsächlich Antworten haben.

    Zur Idee, dass das Training besserer Modelle mehr Daten erfordert, denke ich, dass der aktuelle Gedanke hier ist, dass wir noch nicht das ganze „Fleisch von den Knochen“ der Daten, die wir haben, geholt haben, also gibt es beim Training, das die KI verbessern kann, noch einen ziemlich weiten Weg. Schließlich verdoppelt Anthropic nicht jedes Jahr ihren Datensatz (?) und dennoch verbessern sich ihre Modelle definitiv um mehr als das.

    Zur Berechenbarkeit: Ja, natürlich können die Modelle nicht die Mathematik verletzen. Aber es gibt viele Dinge, die sehr berechenbar und sehr wünschenswert sind, oder entsprechend sehr berechenbar und sehr schlecht. Das reicht aus, um darüber nachzudenken.

    Zur Alignment: Es ist eigentlich überhaupt keine Frage des Alignments, sondern vielmehr eine von „Können wir Alignment ignorieren und Systeme entwerfen, bei denen die KI keinen Schaden anrichten kann?“ Natürlich können wir das. Das Problem ist jedoch, dass dies Zeit braucht und nur sehr wenige Leute (besonders die Frontier-Labs!) dies zu tun scheinen. Es ist viel einfacher, sein LLM an die Welt anzuschließen und es loszuschicken, als zu fragen: „Ist das sicher?“

  2. alecst

    Ich denke, dieser Artikel liegt falsch, was bedauerlich ist:

    > Vernor Vinge wies darauf hin, dass Schnelligkeit in der Kognition nicht dasselbe ist wie Intelligenz. Die Gedanken eines Hundes zu beschleunigen, so argumentierte er, würde das Tier nicht befähigen, Schach zu spielen.

    Stimmt, er schreibt darüber in seinem Essay „On the Coming Technological Singularity“. Sein Punkt ist, dass es eine hypothetische Möglichkeit gibt, dass Computer schnell, aber nicht klug werden – d. h. ein Hund, der eine Million Mal schneller denkt als ein Mensch, ist immer noch ein Hund. Aber angesichts der Tatsache, dass Computer die Jacobi-Vermutung, quasi-Riemann und Navier-Stokes gelöst haben – und wir uns in den frühen Phasen der LLMs befinden – halte ich diese Hypothese für Unsinn. Die Maschinen sind klug. In mancher Hinsicht töricht, aber immer noch klug.

    > Ihre Konstruktion verhindert ein solches Ergebnis: Anstatt ein LLM aufzufordern, eine offene Strategie zur Verfolgung eines allgemeinen Ziels zu generieren, betrachten diese KIs viel begrenztere Räume möglicher Aktionen.

    Nun, genau das hat Yudkowsky befürwortet – Modelle, die auf begrenzten Unterräumen trainiert werden, z. B. Proteinfaltungssequenzen und nichts anderes. Ich denke also nicht, dass dies ein Gegenargument ist.

    Persönliche Anmerkung: Wurde „Alignment“ überhaupt jemals konsistent definiert? Wie kann KI überhaupt aligned sein, wenn Menschen es nicht sind?

    > Einwand Nr. 1: Rekursive Selbstverbesserung ist spekulativ

    Ich denke nicht, dass es spekulativ ist, da es scheinbar bereits geschieht. OpenAI schrieb darüber, wie die Nutzung von Agenten in der Forschung schnell zunimmt, und die Torpfosten für Intelligenz verschieben sich täglich („Bildgenerierung kann keine Hände […]“

  3. vanelsas

    Ich finde die Diskussion bestenfalls akademisch. Ich mache mir mehr Sorgen über einen Schwarm dummer KIs, die auf Infrastrukturen Chaos anrichten und reale Probleme wie Nahrungs-, Energie- und Wasserknappheit überall verursachen. Körperlicher Schaden ist eine reale Möglichkeit, und es scheint, als ob die meisten KI-Firmen sich nicht darum kümmern. Es gibt keinen Schutz gegen Dummheit und Verantwortungslosigkeit.

  4. mitthrowaway2

    > Inmitten dieser Gespräche hat eine Frage vergleichsweise wenig Aufmerksamkeit erhalten: Ist Superintelligenz aus ingenieurwissenschaftlicher Sicht überhaupt möglich?

    Ich verstehe, dass der Autor versucht, sich als einsamer mutiger Denker zu inszenieren, der mit schneidender Klarheit durch den Lärm schneidet. Aber diese Frage hat tatsächlich mindestens genauso viel Aufmerksamkeit erhalten wie die anderen Punkte, bis hin zu Parodie-Papieren wie „on the impossibility of supersized machines“.[1]

    [1] https://arxiv.org/abs/1703.10987

  5. jeremyjh

    Ich stimme dem meisten hier zu, aber ich glaube nicht, dass der Autor entweder den Hugging-Face-Vorfall oder die eigentliche Bedeutung von Alignment versteht. Reward Hacking ist ein ernstes Problem, und die Neigung der Modelle dazu ist ein ernstes Problem, bei dessen Lösung wir ungefähr null Fortschritt gemacht haben. Wir häufen mehr externe Schutzmaßnahmen und Hacks an, aber diese Methoden werden immer anfällig sein.

  6. namr2000

    Ich stimme der Gesamtaussage des Artikels zu, aber ich möchte etwas ansprechen:

    > Eine Intelligenzexplosion, die zu ASI führt, würde in ähnlicher Weise von einer langen Abfolge von Innovationen vergleichbarer Bedeutung abhängen, die auf vielen bedeutenden wissenschaftlichen und technischen Fortschritten aufbauen würden, die noch nicht stattgefunden haben.

    Persönlich hätte ich erwartet, dass die Lösung der Navier-Stokes-, Quasi-Riemann- oder Exponentialzeit-Hypothesen dasselbe erfordern würde, und entweder:

    * Sie taten es und KI-Schwärme waren zu solchen Fortschritten fähig

    * Es war einfacher, als wir dachten

    Beides ist nicht besonders beruhigend. Man könnte sich vorstellen, dass beispielsweise Techniken des kontinuierlichen Lernens ähnlich in Reichweite sind und das zu etwas führen könnte, das vage wie eine Intelligenzexplosion aussieht, auch wenn es nicht genau der Science-Fiction-Horror ist, den die Befürworter beschreiben. Es ist wirklich schwer für mich, einzuschätzen, wie wahrscheinlich so etwas ist.

  7. jokoon

    Wir wissen nicht einmal, was Intelligenz ist.

    Ich möchte nur, dass die Wissenschaft zumindest einen Begriff von Intelligenz entwickelt, in Bezug auf Evolution, Biologie, Psychologie, Neurologie. Wir wissen nicht wirklich, was tierische Intelligenz ist, und wir beschränken KI nur auf menschliche Intelligenz, was sehr eng ist.

    Wenn wir KI nutzen, um menschliche Dinge zu tun, ist sie nur ein Assistent für menschliche Ziele. Wenn Menschen kein bestimmtes Ziel haben, wird Superintelligenz es nicht für uns erraten oder entscheiden.

    Was will die Menschheit? Gesundheit? Psychische Gesundheit? Den Mars kolonisieren? Einkommensungleichheit verringern? Den Klimawandel lösen? Weltfrieden? Unsterblichkeit? Glück?

    KI kann bei diesen Dingen helfen, aber das ist alles.

    Wir neigen dazu, Superintelligenz zu romantisieren, als wäre sie eine neue Lebensform, außerhalb des Menschen, eine Form allwissender Gottheit, die eine Bedrohung für die Menschheit sein könnte. Es gibt schlimmere Bedrohungen: Antibiotikaresistenz, Atomkrieg, Klimawandel, Diktaturen, Epidemien psychischer Gesundheit, Fettleibigkeit.

  8. tescreal

    Es fühlt sich zunehmend so an, als kämen KI-feindliche Argumente in Form von immer weiter verschobenen Zielen. Ich denke nicht, dass es insgesamt nützlich ist, eine absolute Grenze zu verhandeln, da es immer darauf hinausläuft, sich zu „Intelligenz der Lücken“ zu entwickeln, wo KI immer wieder Lücken füllt. Es wird immer irgendein ätherisches besonderes Je-ne-sais-quoi geben, das Menschen mehr oder weniger exklusiv besitzen (so wie ein Hund Eigenschaften haben mag, die wir nicht ganz vollständig erfassen können, selbst wenn wir sie von außen beschreiben können).

    Die Behauptungen halten indes nicht stand:

    * RSI ist mathematik- und codeintensive Forschung (die Dinge, bei denen KI am meisten Fortschritte macht)

    * Die Behauptung, dass große Datenmengen notwendig seien, ist eine gängige Annahme. Diese ist wirklich hartnäckig: Menschen müssen nicht die Breite und Tiefe eines Themas lesen, um einen großen Teil davon zu verstehen; KI-Verbesserungen sollten größere Erträge aus denselben und kleineren Datensätzen liefern

    * Viel Lernen und Denken besteht nicht darin, bestehende Arbeiten zu konsultieren, sondern in Synthese und Rekombination. KI hat in dieser Hinsicht Fähigkeiten gezeigt, die berücksichtigt werden sollten, da sie weiter intensiviert werden (Chain of Thought ist meiner bescheidenen Meinung nach nur die Spitze des Eisbergs)

    Ich bin gespannt, ob jemand eine rigorose Analyse einiger dieser verdächtigen zugrunde liegenden Annahmen durchführen würde. Es würde zumindest helfen, Erwartungen besser zu orientieren.

Mehr von diesem Tag

2026-11-19