AI가 스스로 컨텍스트를 관리한다, Context Language Models 등장
Context Language Models(CLM)는 컨텍스트를 하나의 파일로 취급하고 모델이 이를 직접 수정하도록 만든 새로운 언어 모델이다. 기존 모델에 zero-shot으로 적용해도 BrowseComp-Plus에서 정확도 11.4% 향상과 FLOPs 21.5% 절감, 12시간 EdgeBench에서 59% 적은 연산으로 5% 높은 점수를 기록했다. 컨텍스트 관리를 외부 하네스가 아닌 모델 내재적 행동으로 옮긴 것이 핵심이다.
우리는 컨텍스트를 파일로 취급하고 모델이 이 파일에 제한 없이 업데이트를 가할 수 있도록 함으로써 이를 구현한다.
HN 토론
48- _jayhack_
_jayhack_:
모델이 자기 컨텍스트를 스스로 관리하게 하는 건 아주 bitter lesson스러운 발상이네
가장 큰 문제는 에이전트의 컨텍스트/프리픽스를 자주 수정하면 캐시 히트율이 훨씬 떨어진다는 점이라, 예를 들어 Anthropic API 같은 걸로는 효율적으로 구현할 수 없다.
이 ^ 문제는 원칙적으로 해결 가능하지만 transformer 아키텍처 수정이 필요하고, 서빙 인프라 수정은 확실히 필요하다.
관련 글: "KV Cache Rules Everything Around Me": https://www.completeskeptic.com/p/kv-cache-rules-everything-...
- bob1029
bob1029:
컨텍스트 관리가 한정된 어텐션 자원을 잡아먹는 게 걱정된다.
에이전트가 자기 기억 위기를 해결하게 하고 싶은 건가, 아니면 실제 과제를 해결하게 하고 싶은 건가? 아마 둘 다 동시에 할 수는 있겠지만, 여기엔 적지 않은 비용이 따를 거라고 본다.
내 경험상 메인 에이전트의 컨텍스트를 관리하는 별도의 하이퍼바이저 에이전트가 훨씬 낫다. 다른 스케줄로 돌릴 수 있고, 메인 에이전트는 이걸 생각하느라 토큰을 전혀 쓸 필요가 없다. 또한 캐시가 언제 미스 날지 통제하기도 훨씬 쉬워진다.
- imtringued
imtringued:
엄마, 우리 deep equilibrium (DEQ) transformer 가질 수 있어요?
안 돼, 우리 집에 DEQ 있어.
우리 집 DEQ: 그냥 컨텍스트를 먼저 파일에 넣고 모델에게 그걸 편집하라고 프롬프트한다.
- killerstorm
killerstorm:
관련 글: "Recursive Language Models" https://arxiv.org/abs/2512.24601
- svachalek
svachalek:
와. 컨텍스트 관리는 현대 LLM에서 남은 큰 골칫거리 중 하나라 이건 클 수 있겠다. 명백한 문제는 캐시 무효화인데, 그 해결책까지 조사했다니 그것도 흥미롭다.