Разработчик перенёс 35-килобайтные промпты с Opus на локальный Ollama — и они сломались
Notes on gotchas while migrating 35kb preprompts from Opus to self-hosted Ollama
Автор делится опытом миграции больших промптов с Anthropic и OpenAI на self-hosted Ollama. На его системе с 128 ГБ памяти 35-килобайтный промпт мгновенно съедает 14% контекстного окна, из-за чего агент начинает повторять вызовы инструментов, перечитывать файлы и терять нить задачи. Он объясняет, почему большие контекстные окна и Chain of Thought создают зависимость от провайдеров, и даёт практические советы: разбивать промпты на единичные цели, явно настраивать длину контекста в Ollama и логировать состояние сессий.
С ограниченным контекстным окном пре-промпт — это по сути инструктаж человека, который перерождается каждые девяносто секунд. Он выполняет ваши последние указания без всякого представления о пятнадцати предыдущих требованиях.