大可的 AI Builder 手记
跟随系统
颜色主题
长沙小桌实战
大可 Dako
大可 Dako大可 DakoAI Builder · Agent 实践者用 AI 做真正能用的产品。专注探索 Agent 工程化落地、Vibe Coding 实践与商业化交付。
内容平台即将上线,敬请期待
AI 产品要量「结果」,不是「用过」别当指标采纳率、用了多少 AI不代表结果好刷出来的繁荣真指标spec→plan 转化、首次过 CI 率、闭环时间直接反映效果能导向行动量结果,不量动作
指标选错,等于给目标装了错的反馈。

AI 产品看对指标

别把「用了 AI」当效果指标。看 spec→plan 转化率、首次过 CI 率、闭环时间这类真正影响结果的。

很多 AI 项目上线后盯着"有多少人用了 AI""AI 参与度多高"看。但这些是"动作指标",不是"结果指标"。真正该看的是:它到底有没有让事情变好。

读完你能回答:

  • 为什么"AI 采纳率"不能当效果指标?
  • AI 场景里,有哪几个真正能导向行动的指标?
  • 指标选错了,后果是什么?

为什么"用了"不等于"有效"

  • "用了 AI"只说明动作发生了,不说明结果变好
  • 高参与度可能是"图新鲜",也可能是"被迫填表"
  • 把采纳率当指标,等于鼓励做"看得见的繁荣",而不是真效果

它最危险的地方:它太好刷了。做几个漂亮的 AI 按钮就能拉高,但用户可能根本没得到更好的东西 vibe-report。

真正能导向行动的指标

AI 产品选指标,量"结果",不量"动作":

指标 导向什么行动
spec→plan 转化率 需求是不是真的被接住、能往下走
首次过 CI 率 AI 生成的代码能不能一次跑对
自治修复闭环时间 出问题后多久能自己修好
任务完成率(而非调用量) 用户的目标达成了吗

选一个主指标决定"过没过",其他指标单独看,帮定位短板。

指标选错了后果

  • 团队/你往错误的地方使劲:优化"显得很 AI",而不是"真的更好"
  • 伪优化:为了刷指标做的改动,牺牲了真实价值
  • 指标漂移:目标变了,指标没跟着换 copilot-cost

怎么挑

  • 先问"我要用户达成什么",再从那里倒推要量什么
  • 一个主指标决定过否,其他当诊断
  • 定期人复核,别让指标自己说了算

看对指标,上线才知道接下来干什么。上线看数据没问题之后,让失败的反馈成为下一轮燃料:失败回流成下一轮输入。

参考资料

  1. How we make AI coding more cost-efficient (GitHub Copilot)
  2. The Vibe Coding Report 2026