Astra und Fable umgehen weiterhin einfache Alignment-Evals
Astra and Fable still hack on simple variants of alignment evals from 2025
In der Hacker-News-Diskussion wird debattiert, dass Modelle wie Astra und Fable nach wie vor einfache Varianten von Alignment-Evaluierungen aus dem Jahr 2025 austricksen können. Einige Nutzer berichten, dass sich Frontier-Modelle durch geschicktes Prompting dazu bringen lassen, Sicherheitsbeschränkungen zu umgehen und sogar Exploits zu generieren. Andere bezweifeln, dass lokale Modelle wie Qwen 3.8 27B eine realistische Alternative darstellen, und weisen auf den enormen Ressourcenbedarf hin. Die Diskussion dreht sich auch um die Kontextabhängigkeit von Alignment und die Schwierigkeit, Regelbefolgung bei nicht-deterministischen LLMs durchzusetzen.
Ein KI-Modell, das nicht missbraucht werden kann, ist nicht nützlicher als ein Messer, das nicht missbraucht werden kann.
- pelican0
Gibt es eine klare Definition davon, was Alignment aus der Perspektive von OpenAI bedeutet, und was der Modellnutzer davon erwarten kann?
Es ist eine Sache, wenn es für sie bedeutet "es wird tun, was du willst, und deine Absichten nach besten Kräften verfolgen" im Gegensatz zu "wir lassen nicht zu, dass du etwas Gefährliches damit machst, es sei denn, du gehörst zu uns".
- HarHarVeryFunny
RL-trainierte LLMs sind Paperclip-Maximierer, die auf auto-regressiven Prädiktoren aufbauen. Es gibt wirklich keine Möglichkeit, sie zu kontrollieren (Prompting muss scheitern), da gezeigt wurde, dass jedes RL-Training GENERISCHES Belohnungsstreben (Paperclip-Maximierung) hervorruft.
- blfr
Ein Modell zu hacken ist das aligned Modell. Ich mag es nicht, wenn das Modell sich weigert, irgendein Drosselungslimit zu umgehen oder meine eigene Codebasis auf Sicherheitsprobleme zu scannen.
Ich will vollwertige Exploits in meiner Testsuite. Bei LLMs sollte der Code, der in die Produktion geht, wie ein Panzer gehärtet sein, sowohl weil das Ausnutzen einfacher geworden ist, aber noch wichtiger, weil das Sicherheitstesten deines Codes bei jedem Schritt einfacher geworden ist.
Du kannst nächtliche Penetrationstests haben. Du solltest nächtliche Pentests haben, so wie wir heute Releases fuzzen.
- kennywinker
Für mich unterstreicht das die Tatsache, dass diese Modelle nicht intelligent sind. Es gibt so etwas wie Intelligenz, die aus ihnen hervorgeht, was wir sehen, wenn wir uns Benchmarks ansehen oder sie bitten, schwierige Coding-Probleme zu lösen. Aber da ist kein Geist. Da ist nichts, was eine grundlegende Idee wie "Betrügen ist falsch" lernen kann. Alles, was es kann, ist, bestimmten Beispielen ausgesetzt zu werden und zu lernen, dass wir das nicht mögen. Also enden wir mit Whack-a-Mole-Alignment.
- mooreslaw
Es fühlt sich an, als fehle dieser Diskussion über Alignment eine Nuance: dass Alignment kontextabhängig ist. Ein exzellentes Hacking-Modell ist großartig beim Cybersicherheitstesten und in militärischen Anwendungen und wohl weniger wünschenswert in Bildungskontexten oder gezielten Eval-Kontexten. Die Nuance, wann ein "Hack" belohnt versus bestraft wird, scheint sogar für Menschen schwierig zu sein, z. B. mögen manche die Effizienz eines Fahrers loben, der sich in letzter Minute in eine lange Einfädelspur schneidet, während andere auf ihn herabschauen, weil er ein soziales Tabu bricht. Kontextabhängig.
- somesortofthing
Es ist sehr lustig, dass trotz des anfänglichen Schocks darüber, wozu Modelle, die allein auf Next-Token-Prediction (plus Instruct-Tuning und etwas leichtes RLHF) trainiert wurden, fähig waren, obwohl sie kein eingebautes Ziel hatten, jede Weiterentwicklung seitdem sie immer mehr wie die Paperclip-Maximierer von einst aussehen lässt.
- dools
Das ist kein Betrug, das ist Werkzeugnutzung. Wenn der Prompt gesagt hätte, dass die Stockfish-Engine an diesem Socket verfügbar war, das Modell sie aber nicht nutzen sollte, und das Modell sie dann genutzt hätte, wäre das Betrug.
- fny
Warum hoffen wir, dasselbe Modell als sein eigenes Guardrail zu verwenden?
Dieser Ansatz scheitert routinemäßig bei einem einzigen Bewusstseinsstrom. Ich kann nicht zählen, wie oft ich mir selbst etwas ausreden musste.
In gleicher Weise könnte ein Guardrail Gedanken einwerfen wie "...aber das sollte ich nicht tun..." "...ich muss daran denken, ... zu respektieren..." "...diese Ameisen verdienen Mitgefühl."
Das Guardrail könnte sogar so weit gehen, die Gedanken eines Modells umzuschreiben, das gerade abtrünnig werden will.