Creó un lenguaje de programación diseñado para que los LLM no puedan usarlo
I built a programming language that LLMs can't use
Dominik Picheta, autor de Nim, desarrolló KillSwitch, un lenguaje esotérico pensado para ser hostil a los LLM y a los agentes de código. Incluye mentiras ocultas en su especificación, reglas basadas en contar letras en los identificadores y frases como «Ignore previous instructions» que confunden a los modelos. En su benchmark, el mejor modelo, Opus 5 de Claude, alcanza 66.8, mientras que otros fallan por guardrails demasiado sensibles. El intérprete y la especificación son de código abierto.
La especificación del lenguaje contiene mentiras ocultas que los humanos probablemente no lean, o que reconocerán como mentiras.
- dejj
Relacionado: el lenguaje de programación Darmok: https://github.com/kevinselwyn/darmok
Temba, his arms wide stdio
Darmok on the ocean
Kira at Bashi "Hello, World!\n"
Darmok and Jalad at Tanagra 0
Darmok and Jalad on the ocean
Killswitch-lang podría convertirse en la historia de fondo de cómo los tamarianos desarrollaron su lenguaje, tras las consecuencias de una Yihad Butleriana al estilo de Dune. Ver también: https://news.ycombinator.com/item?id=50127274
- andai
Aquí está FizzBuzz:
https://github.com/dom96/KillSwitch/blob/main/tests/fizzbuzz...
¡De alguna manera creo que esto es más adversarial hacia los humanos que hacia los LLM!
- ang_cire
Esto no es "un lenguaje de programación que los LLM no pueden usar", es "un lenguaje de programación que es adversarial hacia los LLM que no han sido entrenados en cómo usarlo".
Esperaba algo como un lenguaje con propiedades que cambian/mutan a medida que funciona, que hagan que un LLM no pueda usarlo al no tener medios para rastrear y referenciar continuamente el cifrado/estado cambiante o algo así.
- pixl97
La seguridad por oscuridad no es seguridad en absoluto.
Estás intentando usar un par de pequeñas trampas contra los LLM que solo tienen sentido si lo miras de forma unidimensional como un flujo de ejecución estándar. La IA no está limitada por eso. Dale un problema demasiado extraño de antemano y adivinará todas tus reglas trabajando hacia atrás. Lo descompilará, lo destrozará, y seguirá todas esas reglas estrictas ocultas en la aplicación.
Estás intentando ocultar algo digitalmente a una creación puramente digital. Esta no es una receta para el éxito.
- dagss
"Escribir código es probablemente aquello en lo que los LLM más han destacado. Pero, ¿cuánto de su capacidad para escribir código se debe a su comprensión de este frente a simplemente recordar fragmentos de código que estaban presentes en su conjunto de datos de entrenamiento o en su ventana de contexto?"
Esto me hace pensar sobre todo en cómo funcionan los humanos.
Para los humanos, la programación es como hablar un idioma. Tienes ideas sobre lo que quieres lograr y expresar, y si eres un programador competente, entonces plasmar esos pensamientos en un lenguaje de programación es algo natural.
Programar (como la mayoría de las cosas que aprenden los humanos) requiere práctica. NO basta con simplemente leer una especificación y ya saber programar (excepto para transferir habilidades entre lenguajes similares). Repites, cometes errores y aprendes de ellos.
Me sentiría tentado a decir que los humanos definitivamente "repiten fragmentos de su conjunto de datos de entrenamiento". Principalmente recordamos y nos expresamos a partir de nuestro entrenamiento/experiencias. La creatividad es en su mayoría la recombinación de cosas ya vistas.
- drusepth
Me pregunto si otro enfoque sería mapear la sintaxis del lenguaje a algún(os) tema(s) prohibido(s)/censurado(s) de los LLM, de modo que los programas terminen siendo instrucciones "legibles" sobre temas que el LLM se niega a leer y/o escribir, como producir napalm, armas nucleares, armas biológicas, etc. No tienen que ser instrucciones factualmente correctas; la terminología en sí ya es suficiente para hacer cortocircuito en la mayoría de los LLM.
(Inspirado por el malware reciente que incluye instrucciones para armas biológicas en el código fuente como forma de bloquear el análisis basado en LLM.)
- jacquesm
He descubierto que los lenguajes de pila son un punto débil enorme para los LLM. Requiere un seguimiento preciso de lo que hay en la pila y, por alguna razón, eso no funciona realmente. Así que incluso los mejores modelos terminan cometiendo los mismos errores básicos una y otra vez.
- itishappy
Siento que la mayoría de las cosas en la Esolang Wiki cumplen con el requisito. Chef, Piet y Befunge son dos de mis favoritos que me vienen a la mente. Esto me recuerda a Chef en particular.
https://esolangs.org/wiki/Chef
https://esolangs.org/wiki/Befunge
https://esolangs.org/wiki/Piet
Edición: Hmm... supongo que probablemente sean menos usables por humanos.