Warum keine LLM-Wahrheitsprobe existieren kann: Ein Tarski-Angriff
Truth is not a direction: a Tarski attack on LLM probes
Ich zeige, dass keine Probe im Embedding-Raum von LLMs die Wahrheit exakt erfassen kann. Ähnlich wie Gödels Unvollständigkeitssatz führt die Selbstreferenz in ausgedrückten Sprachen zu einem Paradoxon. Selbst wenn einfache Klassifikatoren gut funktionieren, scheitern sie an diagonalen Angriffen, die ihre eigene Ausgabe beschreiben.
Keine definierbare Probe über dem Repräsentationsraum eines Modells kann die Wahrheit für eine Sprache exakt erfassen, die reichhaltig genug ist, um diese Probe und ihre Ausgaben zu beschreiben.
- kstenerud
Es mag für dich absurd erscheinen, überhaupt vorzuschlagen, dass übermenschliche KIs als Wahrheitsorakel fungieren könnten (für mich ist es das gewiss auch), aber es gibt zwei Gründe, dies ernst zu nehmen. Erstens ist es genau so, wie diese Systeme von der überwältigenden Mehrheit der Menschen praktisch genutzt werden. Sie ersetzen bereits die Standard-Google-Suchergebnisse, und ich habe viele Diskussionen erlebt, die damit endeten, dass Menschen die endgültige Autorität über die Wahrheit einer KI überließen.
Es gibt bereits Organisationen, die dies ausnutzen und aktiv "KI-Propaganda" produzieren – also Propaganda, die gezielt auf die LLMs selbst abzielt, um ihr Verständnis von Wahrheit zu beeinflussen und es den Agenden mächtiger Akteure anzupassen. Sie verstecken die Tatsache, dass sie dies tun, nicht einmal.
- Legend2440
Ich denke, dieser Artikel treibt die Prämisse weiter voran, als vernünftig ist.
Das Beste, was man von einem LLM-"Wahrheitsvektor" erwartet, ist, dass er die Überzeugung des Modells darüber kodiert, ob eine Aussage wahr ist. Natürlich ist ein perfektes Wahrheitsorakel unmöglich.
- baq
Der Titel ist etwas clickbaity, aber der Inhalt ist das Lesen wert – ich kam mit meiner Gabel bereitwillig herein und ging einverstanden mit fast allem davon, mit Fragen wie: ‚Was wäre, wenn die Sonde drei Dimensionen zurückgeben könnte: Wahrhaftigkeit, Wissenssicherheit und Entscheidbarkeit?‘
Außerdem trifft die Beobachtung, dass Menschen LLMs wie Orakel behandeln, obwohl sie alles andere als das sind, genau den Nagel auf den Kopf. Das habe ich mir auch schon gedacht, und es ist ziemlich beängstigend.
- aesthesia
Unterhaltsam, obwohl, wie am Ende angedeutet, der Punkt von LLM-"Wahrheits"-Sonden darin besteht, das interne Urteil des Modells über Wahrhaftigkeit zu messen. Es gibt keinen Grund, warum dieses Urteil, selbst wenn es mit 100%iger Genauigkeit gemessen wird, nicht irrtümlich oder logisch inkonsistent sein könnte.
- tomaskafka
> Zweitens glauben manche Menschen wirklich an eine Art platonischen Repräsentationsraum, auf den sich alle Modelle zubewegen und der den "wahren" Zustand der Welt darstellt. Wenn Wahrheit tatsächlich ein objektiver Teil der Welt ist, könnte man erwarten, dass sich eine universelle Wahrheitsrichtung herausbildet, je besser die Modelle werden. Das
Das klingt wirklich nach all diesen Science-Fiction-Geschichten, in denen Leute versuchen, Gott im Computer zu finden.
Wie könnte das dort sein, in dem verwirrten Spiegel von im Internet gesammelten Texten?