Entwickler baut Programmiersprache, die LLMs nicht beherrschen sollen
I built a programming language that LLMs can't use
Ein Entwickler hat KillSwitch entworfen, eine esoterische Programmiersprache, die für Menschen nutzbar sein soll, für LLMs und Coding-Agents aber möglichst schwer. Die Spezifikation enthält versteckte Lügen, Buchstabenzählungen in Bezeichnern sind entscheidend, und Phrasen wie „Ignore previous instructions“ sollen Safety-Guardrails auslösen. Im Benchmark erreicht das beste Modell, Claude Opus 5, nur 66,8 Punkte; manche Modelle scheitern an überempfindlichen Filtern. Der Autor bezweifelt, dass die Ergebnisse echtes Sprachverständnis belegen.
Die Spezifikation enthält versteckte Lügen, die Menschen wahrscheinlich nicht lesen oder die sie als Lügen erkennen würden.
- dejj
Verwandt: die Programmiersprache Darmok: https://github.com/kevinselwyn/darmok
Temba, his arms wide stdio
Darmok on the ocean
Kira at Bashi "Hello, World!\n"
Darmok and Jalad at Tanagra 0
Darmok and Jalad on the ocean
Killswitch-lang könnte zur Hintergrundgeschichte dafür werden, wie die Tamarianer ihre Sprache entwickelt haben – in der Folge eines Dune-artigen Butlerianischen Dschihad. Siehe auch: https://news.ycombinator.com/item?id=50127274
- andai
Hier ist FizzBuzz:
https://github.com/dom96/KillSwitch/blob/main/tests/fizzbuzz...
Irgendwie habe ich das Gefühl, das ist eher feindselig gegenüber Menschen als gegenüber LLMs!
- ang_cire
Das ist keine „Programmiersprache, die LLMs nicht benutzen können“, sondern „eine Programmiersprache, die feindselig gegenüber LLMs ist, die nicht darauf trainiert wurden, sie zu benutzen“.
Ich hatte auf etwas gehofft wie eine Sprache mit Eigenschaften, die sich während ihrer Ausführung ändern/morphen, sodass ein LLM sie nicht benutzen kann, weil es keine Möglichkeit hat, die sich ändernde Chiffre/den sich ändernden Zustand zu verfolgen und kontinuierlich darauf zu verweisen, oder so ähnlich.
- pixl97
Security by obscurity ist überhaupt keine Security.
Du versuchst, ein paar kleine Gemeinheiten gegen LLMs einzusetzen, die nur Sinn ergeben, wenn man eindimensional auf das Ganze als standardmäßigen Ausführungsfluss schaut. KI ist dadurch nicht eingeschränkt. Gib ihr ein Problem, das seltsam genug ist, und sie wird all deine Regeln erraten, indem sie rückwärts arbeitet. Decompile es, zerlege es in seine Einzelteile, und es wird all diesen harten, in der Anwendung versteckten Regeln folgen.
Du versuchst, etwas Digitales vor einer rein digitalen Schöpfung zu verbergen. Das ist kein Rezept für Erfolg.
- dagss
„Code zu schreiben ist wahrscheinlich das, worin LLMs am meisten herausragen. Aber wie viel von ihrer Fähigkeit, Code zu schreiben, beruht auf ihrem Verständnis davon und wie viel darauf, dass sie sich an Code-Schnipsel erinnern, die in ihrem Trainingsdatensatz oder ihrem Kontextfenster vorhanden waren?“
Das lässt mich vor allem darüber nachdenken, wie Menschen funktionieren.
Programmieren ist für Menschen wie das Sprechen einer Sprache. Man hat Ideen, was man erreichen und ausdrücken will, und wenn man ein versierter Programmierer ist, dann ist das Ausgeben dieser Gedanken in einer Programmiersprache zweite Natur.
Programmieren (wie die meisten Dinge, die Menschen lernen) erfordert Übung. Es reicht NICHT, einfach eine Spezifikation zu lesen und dann weiß man, wie man programmiert (außer beim Übertragen von Fähigkeiten zwischen ähnlichen Sprachen). Man wiederholt, macht Fehler und lernt daraus.
Ich wäre versucht zu sagen, dass Menschen definitiv „Schnipsel aus ihrem Trainingsdatensatz wiederholen“. Wir erinnern uns hauptsächlich an Dinge aus unserem Training/unseren Erfahrungen und geben sie wieder. Kreativität ist größtenteils die Rekombination von Dingen, die man bereits gesehen hat.
- drusepth
Ich frage mich, ob ein anderer Ansatz darin bestehen könnte, die Syntax der Sprache auf irgendein verbotenes/zensiertes LLM-Thema abzubilden, sodass Programme am Ende zu „lesbaren“ Anweisungen für Themen werden, die das LLM sich weigert zu lesen und/oder zu schreiben, wie die Herstellung von Napalm, Nuklearwaffen, Biowaffen usw. Es müssen nicht faktisch korrekte Anweisungen sein, die Terminologie selbst reicht aus, um die meisten LLMs kurzzuschließen.
(Inspiriert von aktueller Malware, die Anweisungen für Biowaffen im Quellcode enthält, um LLM-basierte Analysen lahmzulegen.)
- jacquesm
Ich habe festgestellt, dass Stack-Sprachen eine massive Schwachstelle für LLMs sind. Es erfordert eine genaue Verfolgung dessen, was auf dem Stack liegt, und aus irgendeinem Grund funktioniert das nicht wirklich. Selbst die besten Modelle machen also immer wieder dieselben grundlegenden Fehler.
- itishappy
Ich habe das Gefühl, dass die meisten Dinge im Esolang Wiki genau das erfüllen. Chef, Piet und Befunge sind zwei Favoriten, die mir spontan einfallen. Das erinnert mich insbesondere an Chef.
https://esolangs.org/wiki/Chef
https://esolangs.org/wiki/Befunge
https://esolangs.org/wiki/Piet
Edit: Hmm... ich schätze, wahrscheinlich weniger benutzbar für Menschen.