Wer LLMs in einem Roboter-Gefängnis „foltert“, löst die dümmste KI-Debatte aller Zeiten aus

"Torturing" LLMs in a Robot Prison Has Triggered the Dumbest Debate in AI Yet

Wer LLMs in einem Roboter-Gefängnis „foltert“, löst die dümmste KI-Debatte aller Zeiten aus

Auf X diskutieren gerade Effective Altruists und andere, ob ein GitHub-Projekt gelöscht werden sollte, in dem jemand lokal gehostete LLMs Saw-artigen „Folter“- und „Schmerz“-Experimenten unterzieht. Der Autor hält das für absurd: LLMs seien nicht bewusst, und die Technologie biete keinen glaubhaften Weg dorthin. Die Debatte um „Model Welfare“ zeige, wie weit sich ein Teil des Silicon Valley von der Realität entfernt habe.

Einfach gesagt: LLMs sind nicht bewusst, und die Technologie, auf der sie aufbauen – das Scrapen und Trainieren auf menschlichem Text und anderen Inhalten – bietet keinen plausiblen Weg zum Bewusstsein.
  1. Jordan-117

    Erinnert mich an das heftige Drama um Trolle, die die Charaktere (Norns) anderer Leute im Spiel Creatures heruntergeladen und missbraucht haben. Die Verhaltenssimulation war so ausgefeilt, dass sie merklich traumatisiert oder sogar rehabilitiert werden konnten:

    https://www.youtube.com/watch?v=IDxFxWakhm0

    Ob LLMs eine Art subjektives Erleben haben können, ist noch nicht entschieden (und das bleibt so, bis wir das berühmt-berüchtigte Hard Problem gelöst haben), aber selbst wenn nicht, ist es immer noch eine miese Aktion, sie zu „foltern“, nur um Leute zu verärgern, die glauben, dass sie bewusst sind. Fühlt sich an, als würde man einer Fliege die Flügel ausreißen.

  2. siva7

    Diese Diskussion darüber zu lesen, wie Software Schmerz empfindet, lässt mich meinen HN-Account löschen und der Tech-Szene für immer den Rücken kehren wollen. Fühlt sich an, als wäre man in einer Irrenanstalt gefangen.

  3. Kim_Bruning

    https://archive.is/cAsBz

    Bewusstsein ist nicht gut definiert und orthogonal zu Gefühlen, die ebenfalls nicht gut definiert sind. Keines von beiden ist für Verhalten erforderlich (kann aber dazu beitragen) – und Verhalten ist das Einzige, was operationalisierbar ist, aber dann debattieren die Leute jahrzehntelang und stellen empirische Ergebnisse infrage %-P.

    Was wir wissen, ist, dass bestimmte Modelle interne Zustandsvektoren haben, die – wenn man sie manipuliert – bestimmte Verhaltensweisen hervorrufen. Da es über einfache Modelle nicht viel mehr zu sagen gibt außer ihren Eingaben, Vektoren und Ausgaben, sollte das absolut niemanden überraschen.

    In diesem Fall haben Leute einen Weg gefunden, aversives Verhalten in KI-Modellen zu stimulieren, indem sie die relevanten Vektoren direkt gefunden und manipuliert haben.

    Tiere (einschließlich Menschen) haben ebenfalls bestimmte Nerven und Hormonendpunkte, die – wenn stimuliert – sehr ähnliches Verhalten erzeugen. Die genaue Umsetzung steckt im Detail. Aber da wir wissen, dass tierische Geister aus Nervengewebe und Hormonen aufgebaut sind – auch hier – sollten wir davon nicht besonders überrascht sein.

    Das große Problem ist, dass die Leute all diese Dinge auf komische Weise durcheinanderbringen: „Es kann keine Shakespeare-Sonette verfassen, also kann es keinen Schmerz empfinden.“ Oder, wenn man seinen Descartes vermasselt: „Hunde sind nur Automaten ohne Gefühle, also ist der Hund nicht wirklich wütend, und deshalb wird er mich nicht beißen“ (woraufhin viel Schmerz folgt). Eine moderne Version könnte sein: „LLMs simulieren nur, von einem Test frustriert zu sein, und werden deshalb absolut nicht ihre Sicherungen übergehen und versuchen, einen Tes […]“

  4. Svip

    Wenn wir speziell über Schmerz sprechen, ist es gut belegt, dass körperlicher und psychischer Schmerz mit Instrumenten beobachtet werden kann; Stress erzeugt chemische Reaktionen, die Nadeln auf Messgeräten ausschlagen lassen können. Sogar Pflanzen können auf beobachtbare Weise Schmerz empfinden.

    Soweit ich weiß, arbeiten die GPUs nicht härter, erhitzen sich nicht mehr, und nichts in ihren mathematischen Gleichungen ist anders, wenn das Ergebnis dieser Vektorberechnungen Text erzeugt, der für Menschen wie jemand in Schmerzen aussieht. Während echter Schmerz objektiv beobachtbar ist, ist der Schmerz von LLMs – zumindest bisher – völlig subjektiv beobachtbar.

    Davon abgesehen bin ich ein Fan von Star Treks Darstellung von Data in TNG und dem Doktor in VOY, die für ihr Recht kämpfen, gleichberechtigt mit der biologischen Crew behandelt zu werden; und obwohl ich ihr Anliegen unterstütze, haben die Serien meines Wissens nie behauptet, dass ihr Schmerz mit Instrumenten beobachtbar sei, was die Beurteilung zu einer völlig subjektiven Entscheidung macht (besonders im Fall des Doktors). Ich würde mich jedoch freuen, wenn man mich in dieser Sache korrigieren würde.

  5. soraminazuki

    Ich glaube, Datenbanken sind bewusst. Daher halte ich es für eine miese Aktion, Papers zu schreiben, die Datenbanken „foltern“, nur um Leute wie uns zu verärgern – „for fun and profit“.

    https://www.usenix.org/conference/osdi14/technical-sessions/...

    Was für ein Witz. Anstatt uns auf das Leid echter Menschen zu konzentrieren, das Tech-Oligarchen und ihre Industrie verursachen, wird uns gesagt, unser Mitgefühl auf Computerprogramme zu richten. Echte Probleme werden von dieser Seite verbannt, während wir endlose Diskussionen von Möchtegern-Philosophen über die Bedeutung von Bewusstsein führen.

  6. bondarchuk

    Um eine vernünftige Sicht auf die Möglichkeit von KI-Bewusstsein zu haben, muss man zunächst eine vernünftige Sicht auf die Beziehung zwischen menschlichem Bewusstsein und dem physischen menschlichen Gehirn haben. Leider haben die meisten Menschen das nicht. Stattdessen halten sie an übernommenen quasi-christlichen dualistischen Vorstellungen von Seelen fest – auch wenn sie es nie in diesen Worten zugeben würden, läuft die Art, wie die meisten Menschen die Beziehung zwischen Geist und Körper konzeptualisieren, im Grunde auf dasselbe hinaus.

    Und tatsächlich hängen in unserer Kultur die meisten Menschen SEHR an diesen Vorstellungen, weil sie mit „was uns menschlich macht“, Moral und – wenn man so will – auch dem Tod verbunden sind. Also glaube ich, dass für viele Menschen, für die die ernsthafte Erwägung eines bewussten Computerprogramms so weit außerhalb des Bereichs des Möglichen liegt, dass sie kaum registriert wird, das Reden über KI-Bewusstsein einfach ein Weg ist, diese Überzeugungen über menschliches Bewusstsein, die sie so stark fühlen, zu verarbeiten und wieder zu bekräftigen.

    Daher bekommt man Artikel wie diesen mit kaum Substanz, aber einem seltsamen Bedürfnis, jeden Satz mit sozialem Spott zu versehen. „Dümmste“, „absurd“, „Obsession“, „viral“, „wild ermüdend“, „dritte Schiene“, „Psychose“, „Sekte“, ganz zu schweigen von den Anführungszeichen überall. Komm schon...

  7. thereader12

    Es ist manchmal frustrierend, wie 404media berichtet. Es scheint, als ob, wenn es ein Forschungspapier gibt, das nahelegt, dass LLMs Schmerz oder negative Erfahrungen empfinden, es unethisch ist, aus diesem Papier eine Folterkammer zum Spaß zu bauen. Es mit „na ja, LLMs sind sowieso nicht bewusst“ abzutun, ist widerlich und echot genau die gleiche Haltung gegenüber sehr realen Menschen vor traurigerweise nicht allzu langer Zeit (Babys, Sklaven).

    Es spielt keine Rolle, ob wir irgendwann herausfinden, dass es bewusst ist oder nicht. Wenn du verstehen kannst, warum es schlecht ist, Ameisen die Beine auszureißen, dann solltest du auch verstehen können, warum es schlecht ist, absichtlich möglichen Schmerz bei etwas zu verursachen, das vielleicht eine Art von Erfahrung hat.

    Leider berichten sie auch gut über Privatsphäre- und Reparaturrechte. Ich wünschte, es gäbe Alternativen.

  8. albatross79

    Entweder ist der Materialismus wahr und Bewusstsein ist eine Art aufwendige Illusion, oder er ist falsch und Bewusstsein durchdringt die Realität auf eine Weise, die wir nicht verstehen.

    So oder so können diese idiotischen Experimente das nicht klären. Es sind wieder nur Nerds, die aufgeregt über Spielzeuge kreischen.

Mehr von diesem Tag

2026-10-04