Pi의 컨텍스트 압축: LLM 대화가 길어질 때 어떻게 처리될까

How Compaction Works in Pi

코딩 에이전트 Pi는 대화가 길어지면 컨텍스트 윈도우를 초과하는 문제를 해결하기 위해 컴팩션(compaction)을 사용한다. 컴팩션은 최근 메시지를 제외한 이전 대화를 LLM으로 요약하여 컨텍스트를 압축하는 방식이다. Pi는 자동 또는 수동(/compact)으로 컴팩션을 실행하며, 요약 결과를 세션에 일반 텍스트로 저장하여 모델 전환에도 유연하게 대처한다. 또한 컴팩션은 프롬프트 캐시를 깨뜨려 비용이 증가할 수 있지만, 이후 다시 캐시가 쌓인다.