LLM에게 1866년 전신 문체로 쓰게 했더니, 비용이 절반으로 줄었다
Write Like It's 1866: LLMs Relearn Telegraphese
1866년 대서양 전신 케이블은 단어당 10달러를 받았고, 그 비용 구조가 'cablese'라는 압축 문체를 낳았다. 저자는 LLM API 청구서도 토큰 단위로 과금된다는 점에 착안해, 모델에게 소문자로 전보 문체를 쓰게 하는 한 문장 지시를 테스트했다. 50개 지문, 약 1,300개 질문 벤치마크에서 gemma는 40.4%, qwen은 48.9%의 토큰을 절약했고, 압축된 기록을 읽은 다른 모델들의 정확도는 원문 대비 0.99~1.10을 기록했다. 단, 추론을 끌 수 없는 gpt-5-mini는 오히려 비용이 두 배로 늘었다.
새 하드웨어도, 학습도, API 변경도 필요 없다. 단 한 문장의 지시만 있으면 된다. 에이전트가 압축된 끝에서 거의 두 배의 컨텍스트를 얻거나, 같은 작업을 절반의 출력 비용으로 처리하게 된다. 검증된 큰 최적화인데, 내가 아는 한 아무도 하고 있지 않다.
HN 토론
51- OtherShrezzing
이 페이지는 (다소 아이러니하게도) Claude 말투가 너무나 극심하게 깔려 있어서, 온갖 잡음 속에서 정보를 찾기가 어려울 정도다. 하지만 그 모든 걸 헤치고 나가면 이런 사실들이 보인다:
>이 테스트가 측정하는 것: 모델에게 한 지문과, 짧고 검증 가능한 답(날짜, 이름, 개수)이 있는 고정된 질문 세트가 주어진다.
즉, 모델에게 압축에 특히 적합한 콘텐츠가 주어지고, 특정 제약 아래에서 그것을 재현하라고 요구하는 것이다. 예를 들어...
>왜 평문 기준선은 100%가 아닌가? 압축되지 않은 평문 지문에 대한 질문에 답하면 ~91%가 나온다.... 다르게 표현된 정답은 [실패]로 채점된다
모델은 객관적으로 올바른 답을 줄 수 있는데도(실제로 그렇게 한다), 구현자의 표현 선호에 대한 일종의 전지적 지식을 갖추지 못했다는 이유로 감점을 받는다.
이 현상이 모델에서 창발적이라면, 이 벤치마크는 그것을 어떤 의미 있는 방식으로도 입증하지 못한다.
- Solomet
최신 LLM 글쓰기의 특징: 개념들이 보통은 물리적 대상에 더 어울리는 용어로 서술된다.
> 프런티어 모델에서 그것을 억제하는 연구실은 그 이점을, 여전히 그것을 _지닌_ 오픈 모델에게로 옮겨줄 뿐이다
> 그것들은 어느 쪽이 더 나은지에 대한 신호를 _지니지_ 않는다
> 당신의 워크로드가 그 프런티어 위 어디에 _자리잡는지_ 가 그 지점을 골라야 한다
> 그리고 어떤 모델도 심판석에 _앉지_ 않는다
> 모든 비율이 0.99–1.10에 _자리한다_
"sit"의 예가 훨씬 더 많다
> 이 글의 모든 비교가 질문들을 "holds"한다
최근 LLM과 작업하면서 이걸 정말 많이 보고 있고 꽤 답답하다. 더 답답한 건 불필요하게 저신호 용어를 얼마나 자주 쓰는지다. 이런 '물리적 대상' 용어들이 한 예지만, 때로는 그저 '맞아떨어지기' 때문에 덜 설명적인 용어를 골라서 '노력을 보존'하는 것처럼 보일 때가 정말 있다.
설명적인 용어를, 게으름 외에는 식별할 만한 이유도 없이 더 모호한 용어로 바꾸는 것도 목격했다.
에이전트가 다시 모호한 용어와 비구체성 쪽으로 흘러갈 때 요즘 내가 쓰는 지침은 "모호함을 최소화하라"이다.
- bilater
사실 이 글에서 얻을 교훈은, 컨텍스트 압축, AGENTS.md, 시스템 가이드, 그리고 토큰을 아끼는 이런저런 하네스 식 방법들 주변에서 우리가 하고 있는 이런 자잘한 꼼수들이 꽤 빠르게 사라질 거라는 것 같다. 전신 시대의 온갖 요령들이, 통신이 충분히 저렴해져서 그냥 평범한 언어로 말하는 게 더 쉬워지자 사라졌던 것과 꼭 마찬가지로.
- netsharc
Cablese/Telegraphese가 LLM에서의 사용보다 더 흥미롭다. DuckDuckGo로 "paromella"를 검색해봤다:
https://en.wikipedia.org/wiki/Commercial_code_(communication...
흥미롭다고 느낀 몇 가지 코드:
> INSANE - 이번 주에 출항하는 증기선으로 선적할 면화를, 어떤 가격, 본선인도 및 운임 조건으로 제안할 수 있습니까?
> COGNOSCO - 오늘 저녁 외식하니, 내 예복을 여기로 보내주세요
유용한 코드워드다!
> ANNOSUS — 어제 격리됨, 쌍둥이, 둘 다 사망, 산모는 살 가망 없음
이건 얼마나 자주 쓰였을까??
- z2
UI로 가끔 추론이 새어 나오는 걸 봤던 최근 ChatGPT(GPT5.6) 대화들을 보면, 이런 게 이미 구현되어 있다는 게 분명하고, 최근 토큰 사용량이 줄었다는 주장의 대부분이 이 때문이라고 추측한다. 물론 문자 그대로 cablese를 프롬프트로 넣는지는 모르겠다.
"출력 vs 이전 확인 필요. 스크립트 돌림, 결과 양호, 다음 단계 준비 필요. 준비됐나? 간다."