上下文瘦身,别让对话越跑越脏
该压缩就压缩、稳定内容做缓存、删掉不再需要的历史。上下文越脏,花钱越多、效果越差。
AI 的成本主要花在"上下文"上:你喂进去的每一段、传上去的每一遍,都要算钱。上下文越堆越脏,不仅贵,而且效果还差——因为模型被一堆没用的信息干扰。
读完你能回答:
- 为什么上下文越脏越贵?
- 瘦身上下文有哪几个具体手法?
- 缓存和压缩的差别在哪?
为什么脏上下文又贵又差
- 贵:传上去的内容按量计费,历史、冗余等于白花钱
- 差:给模型一堆无关信息,它会跑偏,质量和稳定性都降
- 慢:内容多,处理也慢
成本、质量、速度,三样都受上下文污染影响。
瘦身的几个手法
- 该压缩就压缩:长会话先总结,再继续,别让历史无限累加
- 删掉不需要的历史:过期的内容、废弃的方案,别再留
- 按需加载:工具 schema、文档,用到再带,不预载全量 google-patterns
- 稳定内容放缓存前缀:system prompt、工具定义这类稳定内容,放前面最大化缓存命中,别放末尾(末尾会变)
缓存和压缩的差别
- 压缩:把信息真正变少(总结、精简)
- 缓存:同样的稳定内容不用重复传输,命中就少算钱
两者目标都是"用更少的 token 表达同样的事",一个靠减量,一个靠复用。
别为了省 token 省掉关键验证
- 优化的分母是"完成任务":任务没完成,省下的 token 全是浪费
- 为了省一点点 token 把关键上下文砍了,导致返工,得不偿失 copilot-cost
- 所以:瘦身了"无用"的,别瘦身"关键"的
把上下文喂得干净又对,你的 vibe coding 又快又省。成本里的最后一笔,是"怎么省在完成任务上":省在完成任务,不在省调用。
