大可的 AI Builder 手记
跟随系统
颜色主题
长沙小桌实战
大可 Dako
大可 Dako大可 DakoAI Builder · Agent 实践者用 AI 做真正能用的产品。专注探索 Agent 工程化落地、Vibe Coding 实践与商业化交付。
内容平台即将上线,敬请期待
上下文越脏,越花钱、越差劲01膨胀旧文件、冗余、历史堆一起02压缩总结旧的,只留要用的03缓存稳定内容复用,不重复传输✓ 喂得越对,花得越少、效果越好
干净的上下文,既省钱又更好。

上下文瘦身,别让对话越跑越脏

该压缩就压缩、稳定内容做缓存、删掉不再需要的历史。上下文越脏,花钱越多、效果越差。

AI 的成本主要花在"上下文"上:你喂进去的每一段、传上去的每一遍,都要算钱。上下文越堆越脏,不仅贵,而且效果还差——因为模型被一堆没用的信息干扰。

读完你能回答:

  • 为什么上下文越脏越贵?
  • 瘦身上下文有哪几个具体手法?
  • 缓存和压缩的差别在哪?

为什么脏上下文又贵又差

  • 贵:传上去的内容按量计费,历史、冗余等于白花钱
  • 差:给模型一堆无关信息,它会跑偏,质量和稳定性都降
  • 慢:内容多,处理也慢

成本、质量、速度,三样都受上下文污染影响。

瘦身的几个手法

  • 该压缩就压缩:长会话先总结,再继续,别让历史无限累加
  • 删掉不需要的历史:过期的内容、废弃的方案,别再留
  • 按需加载:工具 schema、文档,用到再带,不预载全量 google-patterns
  • 稳定内容放缓存前缀:system prompt、工具定义这类稳定内容,放前面最大化缓存命中,别放末尾(末尾会变)

缓存和压缩的差别

  • 压缩:把信息真正变少(总结、精简)
  • 缓存:同样的稳定内容不用重复传输,命中就少算钱

两者目标都是"用更少的 token 表达同样的事",一个靠减量,一个靠复用。

别为了省 token 省掉关键验证

  • 优化的分母是"完成任务":任务没完成,省下的 token 全是浪费
  • 为了省一点点 token 把关键上下文砍了,导致返工,得不偿失 copilot-cost
  • 所以:瘦身了"无用"的,别瘦身"关键"的

把上下文喂得干净又对,你的 vibe coding 又快又省。成本里的最后一笔,是"怎么省在完成任务上":省在完成任务,不在省调用。

参考资料

  1. How we make AI coding more cost-efficient (GitHub Copilot)
  2. 4 engineering patterns behind the strongest AI agents (Google)