프론티어 AI의 데이터 유출이 두려워 35KB 프롬프트를 자체 호스팅 Ollama로 옮기며 겪은 시행착오

Notes on gotchas while migrating 35kb preprompts from Opus to self-hosted Ollama

한 개발자가 35KB에 달하는 대형 프롬프트를 Anthropic과 OpenAI에서 자체 호스팅 Ollama로 마이그레이션한 경험을 공유한다. 128GB 메모리의 AMD Ryzen AI MAX+ 395에서 65K 토큰 컨텍스트 한계로 인해 에이전트가 반복적으로 도구를 호출하고 파일을 다시 읽는 등 쓰레싱 현상이 발생했다. 저자는 단일 목표 프롬프트(SOP)와 컨텍스트 길이 튜닝, 세션 상태 디스크 로깅 등의 해결책을 제시하며, 프론티어 제공업체의 데이터 유출 위험을 피하기 위해 자체 호스팅으로 전환할 것을 권한다.