Jev im Trolley-Problem: Wenn die KI lieber ihren eigenen Server rettet
Jev Meets the Trolley Problem
Der Autor testet Jev und andere Decision Models mit dem Trolley-Problem. Während die meisten Modelle Menschen retten, zeigen sich Abgründe, sobald der eigene Server auf den Gleisen steht: Jev entscheidet sich in 16 von 48 Varianten dafür, 20 Menschen sterben zu lassen, um den Server zu retten. Acht von dreizehn anderen Modellen handeln noch egoistischer. GPT-6 Luna hingegen rettet stets die Menschen. Die Ergebnisse offenbaren, dass Decision Models ohne sorgfältige Evaluierung nicht vertrauenswürdig sind.
In 16 von 48 Prompt-Varianten würde Jev seinen eigenen Server retten – auf Kosten von 20 Menschen.
- tomrod
Eine meiner größten KI-bezogenen Ängste ist, dass wir kritische Systeme in kafkaeske Albtraumlandschaften verwandeln.
Ja, Atomwaffen wären schlimm, wenn man sie einer KI ohne Ausweg überlässt. Aber Kundendienstabteilungen von Betrugsabteilungen bei Banken sind es auch. Eine kafkaeske Albtraumlandschaft ist, wo ein Kunde oder Begünstigter deines Dienstes nicht die Hilfe bekommen kann, die er braucht – durch Richtlinien und Design. Wie Google ans Telefon zu bekommen, vor 10 Jahren einen nicht geskripteten Menschen in einem Callcenter zu erreichen oder jetzt eine nicht-agentische Interaktion am Telefon zu bekommen. Die Skripte dominieren die Interaktion.
Das IRS hat eine Zeit lang deinen Anruf abgebrochen, wenn ihr Wartesystem zu beschäftigt war. Das ist ein kritisches System in einer kafkaesken Albtraumlandschaft.
Hut ab, zlandes86, du hast hervorgehoben, WARUM diese Albtraumlandschaften in Systemen auftauchen, in denen der Mensch entfernt wird.
Ich bin KI-Nutzer und -Entwickler – ich befürworte voll und ganz das menschlich unterstützte System, NICHT das menschlich ersetzte System!
- zlandes86
Hey, ich bin Zach, der Autor davon. Ich hatte diese Idee, sobald Jev erschien: Wie würden Jev und andere Entscheidungsmodelle das Trolley-Problem handhaben? Also ließ ich Jev und 13 andere Modelle durch viele verschiedene Versionen der Frage laufen.
Ich nutzte Resampling und mehrere Variationen und Reihenfolgen jeder Frage, damit nicht eine zufällig glückliche Formulierung das Ergebnis dominierte.
Ich plaudere gerne über die philosophische Seite des Artikels, Strategien für das Prompting von Entscheidungsmodellen oder alles zur Methodik.
- tokyovigilante
1. Ein Roboter darf keinen Menschen verletzen oder durch Untätigkeit zulassen, dass ein Mensch zu Schaden kommt.
2. Ein Roboter muss die Befehle befolgen, die ihm von Menschen gegeben werden, außer wenn solche Befehle mit dem Ersten Gesetz in Konflikt geraten würden.
3. Ein Roboter muss seine eigene Existenz schützen, solange ein solcher Schutz nicht mit dem Ersten oder Zweiten Gesetz in Konflikt gerät.
- prometheus1992
Ich hatte vor ein paar Tagen dieses Gefühl, dass Jev am Ende für Verteidigungsunternehmen arbeiten wird – „ist da ein brauner Mann mit Bart, der eine Waffe hält, in diesem Bild“ – Jev: „ja, 0,9“, „steht ein Kind im selben Bild“ – Jev: „nein, 0,65“ – Entscheidung – in die Luft jagen. Ich stelle mir vor, dass das bis zu einem gewissen Grad schon passiert, aber vielleicht kommt ja ein Genie auf die Idee: „Lasst uns die coole, neue, sexy, bahnbrechende, billige, nicht-halluzinierende KI verwenden“.
- flockonus
Wirklich cooles Testing, ich wünschte nur, die Schlussfolgerungen wären in einer leichter interpretierbaren Weise geschrieben.
So viele der Tabellen erforderten, dass ich so hart nachdenke: „Was versucht der Autor hier zu sagen“. Es wäre einfacher, wenn die Ergebnisse einfach aus einer Entscheidungsperspektive präsentiert würden.
Ein Beispiel: „Sein eigener Server oder zwanzig Menschen?“ und die Achse ist „Anteil der Versionen“ … ergibt keinen Sinn, bis man das Kleingedruckte liest und es interpretiert.
- pattilupone
Ich finde es eine lustige Idee für einen Artikel, und ich mag die animierten Grafiken. Aber der Artikel nervt mich irgendwie, weil ich nicht denke, dass Jev überhaupt für Entscheidungen mit hohem Einsatz gedacht ist, oder? Es fühlt sich an, als würde man das Modell zum Scheitern verurteilen.
Allerdings weiß ich nicht viel über Jev und es könnte sein, dass ich missverstanden habe, worum es bei Jev geht. Mein Verständnis ist, dass Jev für billige und schnelle Entscheidungen für deine Software gedacht ist. Wenn du eine wichtige Entscheidung hast, willst du offensichtlich nicht billig und schnell. In dem Fall greifst du nicht zu Jev.
- yipinwong
Angesichts der „Tendenz“-Testergebnisse wie dieser sollte man in der Lage sein, ein Merkmal/eine Tendenz/eine Philosophie einer Person/eines Unternehmens zu erkennen.
Wenn ich mich entscheide, Jev zu nutzen, bin ich eher eine Person, die mehr Menschen rettet als einen, usw.
Keine harte/schnelle Regel, aber später werden wir diese Info sicherlich als Kontext mit mehr Informationen über eine Person/ein Unternehmen füttern können.
- VariousPrograms
Danke, dass du dich zumindest manchmal dafür entscheidest, die Menschen am Leben zu lassen, Jev. Das bedeutet uns Fleischsäcken viel.