LLM이 못 쓰게 만든 프로그래밍 언어, KillSwitch

I built a programming language that LLMs can't use

▲ 140dom96108 HN 토론
LLM이 못 쓰게 만든 프로그래밍 언어, KillSwitch

LLM이 코드를 잘 짜는 게 진짜 이해 때문인지, 학습 데이터에 있던 코드를 기억해내는 것뿐인지 확인하려고 개발자가 직접 LLM에 적대적인 난해한 언어 KillSwitch를 만들었다. 글자 수 세기, 과민한 안전 가드레일, 지시 따르기 성향 같은 LLM의 약점을 파고들며, 명세에는 사람만 알아챌 거짓말까지 숨겼다. 벤치마크에서 최고 점수는 66.8로 Claude Opus 5가 1위를 차지했다.

이 언어는 여러 방식으로 이를 달성하는데, 예를 들어 명세에는 사람이 읽을 가능성이 낮거나 거짓임을 알아챌 만한 숨겨진 거짓말이 담겨 있다.
원문 읽기 →HN 토론RSS

HN 토론

108
  1. dejj

    관련해서: Darmok 프로그래밍 언어: https://github.com/kevinselwyn/darmok

    Temba, his arms wide stdio

    Darmok on the ocean

    Kira at Bashi "Hello, World!\n"

    Darmok and Jalad at Tanagra 0

    Darmok and Jalad on the ocean

    Killswitch-lang은 Dune 같은 버틀러리안 지하드 이후 타마리안인들이 언어를 발전시킨 배경 이야기가 될 수도 있겠네요. 또한 참고: https://news.ycombinator.com/item?id=50127274

  2. andai

    FizzBuzz는 이렇습니다:

    https://github.com/dom96/KillSwitch/blob/main/tests/fizzbuzz...

    어쩐지 이건 LLM보다 인간에게 더 적대적인 것 같아요!

  3. ang_cire

    이건 "LLM이 쓸 수 없는 프로그래밍 언어"가 아니라 "사용법을 훈련받지 않은 LLM에게 적대적인 프로그래밍 언어"입니다.

    저는 기능하면서 변화/변형되는 속성을 가져서 LLM이 변화하는 암호/상태를 추적하고 지속적으로 참조할 방법이 없어 사용할 수 없게 만드는 언어 같은 걸 기대했어요.

  4. pixl97

    보안은 은닉으로 성립하지 않습니다.

    당신은 LLM에 대해 몇 가지 작은 함정을 사용하려는 건데, 그건 표준 실행 흐름으로 한 차원적으로 볼 때만 말이 됩니다. AI는 그런 것에 제한되지 않아요. 앞으로 너무 이상한 문제를 주면, 거꾸로 작업하면서 당신의 모든 규칙을 알아낼 겁니다. 디컴파일하고, 분해하고, 애플리케이션에 숨겨진 모든 엄격한 규칙을 따를 거예요.

    당신은 순수하게 디지털로 만들어진 존재로부터 디지털 방식으로 무언가를 숨기려는 겁니다. 이건 성공의 레시피가 아니에요.

  5. dagss

    "코드 작성은 아마 LLM이 가장 뛰어난 분야일 겁니다. 하지만 코드 작성 능력 중 얼마나 많은 부분이 코드에 대한 이해에서 나온 것이고, 얼마나 많은 부분이 훈련 데이터셋이나 컨텍스트 윈도우에 있던 코드 조각을 기억해내는 것에서 나온 걸까요?"

    이 말은 주로 인간이 어떻게 작동하는지에 대해 생각하게 하네요.

    프로그래밍은 인간에게 언어를 말하는 것과 같습니다. 달성하고 표현하고 싶은 아이디어가 있고, 능숙한 프로그래머라면 그 생각을 프로그래밍 언어로 출력하는 것이 제2의 천성입니다.

    프로그래밍은 (인간이 배우는 대부분의 것처럼) 연습이 필요합니다. 명세서를 읽기만 하고 바로 코딩하는 법을 아는 것으로는 충분하지 않습니다 (비슷한 언어 간에 기술을 전이하는 경우는 예외). 반복하고, 실수하고, 그것에서 배웁니다.

    저는 인간도 분명히 "훈련 데이터셋에서 조각을 반복한다"고 말하고 싶어집니다. 우리는 주로 훈련/경험에서 기억하고 표현합니다. 창의성은 대부분 이미 본 것들의 재조합입니다.

  6. drusepth

    또 다른 접근법은 언어 구문을 금지/검열된 LLM 주제(들)에 매핑해서 프로그램이 LLM이 읽거나 쓰기를 거부하는 주제(예: 네이팜, 핵무기, 생물무기 등 제조)에 대한 "읽을 수 있는" 지시문이 되게 하는 게 어떨까 싶네요. 사실적으로 정확한 지시일 필요는 없고, 용어 자체만으로도 대부분의 LLM을 단락시킬 수 있습니다.

    (최근 악성코드가 LLM 기반 분석을 막기 위해 소스 코드에 생물무기 지시를 포함시킨 것에서 영감을 받았습니다.)

  7. jacquesm

    스택 언어가 LLM의 큰 약점이라는 걸 알게 됐습니다. 스택에 무엇이 있는지 정확히 추적해야 하는데, 왠일인지 그게 잘 안 됩니다. 그래서 최고의 모델들조차 같은 기본 실수를 계속 반복합니다.

  8. itishappy

    Esolang Wiki에 있는 대부분의 것들이 조건을 충족하는 것 같아요. Chef, Piet, Befunge가 떠오르는 두 가지 좋아하는 예입니다. 특히 Chef가 생각나네요.

    https://esolangs.org/wiki/Chef

    https://esolangs.org/wiki/Befunge

    https://esolangs.org/wiki/Piet

    편집: 흠... 아마 인간에게는 덜 쓸모 있을 것 같기도 하네요.

이 날의 다른 글

2026-10-18