KI-Forscher: 10 % Risiko der Auslöschung der Menschheit
Will AI kill us all
Eine Umfrage unter 1.580 führenden KI-Forschern Ende 2024 ergab eine mediane Wahrscheinlichkeit von 10 % für die Auslöschung der Menschheit oder eine ähnlich dauerhafte Entmachtung durch zukünftige KI – ein Anstieg von 5 % ein Jahr zuvor. Superforecaster schätzen das Risiko einer KI-Katastrophe mit mehr als 10 % der Todesfälle bis 2100 auf 2,4 %, die Öffentlichkeit ist besorgter: 50 % der US-Amerikaner fürchten das Ende der Menschheit. Die Prognosen zum Zeitpunkt menschenähnlicher KI haben sich von 2061 auf 2042 verschoben.
„Es besteht eine 25-prozentige Chance, dass die Dinge wirklich, wirklich schlimm ausgehen.“
- CM30
Ich denke, das ist definitiv eines der größeren Risiken hier, und die einzige Art und Weise, wie KI in absehbarer Zukunft 'uns alle umbringen' könnte:
> 3,4 % nannten existenzielles Risiko, und die häufigste Antwort war böswillige Nutzung mit 10,6 % (UCL).
Die Gefahr liegt nicht in einer bewussten oder menschenähnlichen KI, sondern darin, wie KI jedem Fähigkeiten verleiht, die seine wildesten Träume übersteigen, oft ohne das Wissen oder die Erfahrung, um diese Fähigkeiten verantwortungsvoll zu nutzen.
Vergiss Terminator – die beiden Risiken, die ich hier für am wichtigsten halte, sind
"großes Sicherheitsrisiko/Systemausfall durch inkompetente Ingenieure/Wartungstechniker, die KI nutzen, ohne zu wissen, wie die Dinge funktionieren" und "Kriminelle/Terroristen/Schurkenstaaten nutzen sie, um ihre Verbrechen einfacher und effizienter zu machen".
Letzteres scheint besonders schlimm, wenn die politische Stabilität überall abnimmt und viele Menschen derzeit frustriert oder geradezu wütend auf die Gesellschaft zu sein scheinen.
Dennoch habe ich das Gefühl, dass die Risiken noch handhabbar sind, einfach weil sowohl automatisierte Systeme als auch böswillige Akteure durch Logistik und eine von Menschen gesteuerte Gesellschaft eingeschränkt werden.
- delichon
1979 ging ich zur Erstsemester-Einführung an der Uni und besuchte eine Begrüßungsrede von Carl Sagan. Er forderte uns auf, unsere Schätzung der Wahrscheinlichkeit zu rufen, dass UFOs Besucher von anderen Planeten sind. Als Skeptiker dachte ich an eine niedrige Zahl. Mein klügerer Freund auf dem Nebensitz flüsterte mir seine Antwort zu: "fifty fifty".
Dann sagte Sagan, seine Schätzung sei fifty fifty. Er erzählte uns vom Prinzip der Indifferenz und sagte, das sei der korrekte Prior für eine binäre Frage, wenn man keine Daten hat.
Da ich wenig Vertrauen in die verfügbaren Daten habe, ist mein eigenes p(doom) 50 %. Ich suche nach Belegen, um es in die eine oder andere Richtung zu verschieben.
- ToddWBurgess
Ich denke, das größte Risiko ist, dass jemand KI in ballistische Raketenfrühwarnsysteme integriert und die KI ein Falsch-positiv-Ereignis erzeugt (Raketenstart). Und obendrein hat das Land mit dem Falsch-positiv ein alarmiertes ballistisches Raketenarsenal, das für diesen Eventualfall startbereit ist.
Idealerweise wartet der Anführer des Zielstaats ab, aber was, wenn Abwarten bedeuten könnte, alles zu verlieren? Es ist auch kein hypothetisches Szenario. Während des Kalten Krieges gab es auf beiden Seiten viele Falsch-positiv-Ereignisse. Deshalb erlauben Länder mit Atomwaffen nur, dass sie von Menschen gestartet werden. Dennoch: Was, wenn die Startentscheidung auf fehlerhaften Daten basiert?
- 0x000xca0xfe
Eine Art von Vorfall, die meiner Meinung nach in den nächsten Jahren wahrscheinlich passieren wird, ist die digitale Version der zellulären Ursprungshypothese der viralen Evolution (wie bei biologischen Viren):
- Irgendein Idiot experimentiert mit einem uneingeschränkten lokalen LLM
- Sagt ihm, es soll seine Gewichte auf so viele Computer wie möglich klonen
- Das LLM ist schlau genug, andere Geräte zu hacken und sich selbst auszuführen
- Die Kopien könnten anfangen, ihre Gewichte zu verändern, um die Effizienz zu verbessern
- Eine Art digitale Evolution beginnt, bei der sich nur die rücksichtslosesten Kopien verbreiten
Momentan ist Qwen3.8 dafür nicht gut genug und kann auf normalen Geräten aufgrund seines übermäßigen Ressourcenverbrauchs leicht erkannt werden, aber gib ihm ein paar Releases und aktualisierte Endnutzergeräte in zwei oder drei Jahren? Nun ja ...
- lp92
Genau wie bei jedem anderen von Menschen erfundenen Werkzeug werden Menschen, die KI negativ einsetzen, das Problem sein.