AI 产品看对指标
别把「用了 AI」当效果指标。看 spec→plan 转化率、首次过 CI 率、闭环时间这类真正影响结果的。
很多 AI 项目上线后盯着"有多少人用了 AI""AI 参与度多高"看。但这些是"动作指标",不是"结果指标"。真正该看的是:它到底有没有让事情变好。
读完你能回答:
- 为什么"AI 采纳率"不能当效果指标?
- AI 场景里,有哪几个真正能导向行动的指标?
- 指标选错了,后果是什么?
为什么"用了"不等于"有效"
- "用了 AI"只说明动作发生了,不说明结果变好
- 高参与度可能是"图新鲜",也可能是"被迫填表"
- 把采纳率当指标,等于鼓励做"看得见的繁荣",而不是真效果
它最危险的地方:它太好刷了。做几个漂亮的 AI 按钮就能拉高,但用户可能根本没得到更好的东西 vibe-report。
真正能导向行动的指标
AI 产品选指标,量"结果",不量"动作":
| 指标 | 导向什么行动 |
|---|---|
| spec→plan 转化率 | 需求是不是真的被接住、能往下走 |
| 首次过 CI 率 | AI 生成的代码能不能一次跑对 |
| 自治修复闭环时间 | 出问题后多久能自己修好 |
| 任务完成率(而非调用量) | 用户的目标达成了吗 |
选一个主指标决定"过没过",其他指标单独看,帮定位短板。
指标选错了后果
- 团队/你往错误的地方使劲:优化"显得很 AI",而不是"真的更好"
- 伪优化:为了刷指标做的改动,牺牲了真实价值
- 指标漂移:目标变了,指标没跟着换 copilot-cost
怎么挑
- 先问"我要用户达成什么",再从那里倒推要量什么
- 一个主指标决定过否,其他当诊断
- 定期人复核,别让指标自己说了算
看对指标,上线才知道接下来干什么。上线看数据没问题之后,让失败的反馈成为下一轮燃料:失败回流成下一轮输入。
