kapa.ai：教小LLM扔掉68%的RAG上下文

Pruning RAG context down to what the answer actually needs

在RAG系统中，检索到的大量上下文往往包含大量无用信息，却仍在消耗昂贵的Token成本。我们在kapa.ai的实践中发现，传统重排序方法无法精准剔除这些冗余。于是，我们引入一个轻量级LLM作为‘修剪器’，在检索和生成之间增加一步：让这个小模型通读问题和所有检索片段，精准判断哪些内容对回答问题真正必要。结果令人惊喜：我们成功丢弃了68%的上下文，同时保留了96%的召回率，单次查询成本净降三分之一。这不仅省了钱，还让Agent的上下文空间更充裕，真正实现了‘少即是多’。

"真正的关键不在于单个片段是否相关，而在于它是否属于能共同回答问题的那一组内容。"