知识工作怎么验证
代码可以看输出验证,知识工作不行:你必须审视过程、输入与推理。产品要为此设计。
代码和知识工作有一个根本区别,决定了你该怎么验证 AI 的产出:**代码高度输出导向,知识工作不是。**代码任务可以用测试验证做对没有;知识工作不能只看最终结果就相信它。seshan
你会遇到的现象:
- 让 AI 做了一份分析,数字很漂亮,但你不知道它怎么算出来的
- 让 AI 写了一份方案,读起来很顺,但你怀疑它漏了某个关键输入
- 让 AI 生成的东西看起来都对,却总担心哪里不对劲,又说不清在哪
为什么代码可以看输出
编码是输出导向的。你让 AI 做编码任务,可以用测试验证它做对没有——可以试、可以看它是否 work,验证基于输出。测试通过了,这件事大概率就是对的,因为中间的过程无关紧要:你不需要知道它的架构小决策,只需要它通过所有测试。
输出导向意味着验证很便宜、很客观、很快。这解释了为什么编码 agent 进展最快——它们有一个天然的裁判:测试。每次改动都能被立刻判定对错,反馈循环短得惊人。
为什么知识工作不能只看结果
知识工作不同。你不能只看最终 deck 里的数字(比如"90% 成功率")就相信它。你必须审视过程、输入、推理,以及它是如何一路走来的。一个财务模型可以看起来很完整,却建立在错误的假设上;一份竞品分析可以读起来很全面,却漏掉了关键信源。
原因是知识工作的输出天然「可伪造」:一份漂亮的 deck 不证明推理是对的,只能证明排版很好。最终产物几乎不提供关于过程是否可信的信号——而过程恰恰是唯一值得相信的东西。数字越漂亮,越要问它从哪来。
产品要展示 proof of work
这给 AI 知识工作产品提出了明确的设计要求:让用户看到进行中的工作、看到引用与输入、让用户陪模型走完整段旅程,抵达最终输出。 用户需要能确信「这个东西是对的、好的、有用的」,而不是被丢一个成品。
这和向高管做执行会议汇报是同一件事:你 pitch「这是我们该做的事」,很大程度上是在帮助他们看到你为此做的工作、所有的步骤——AI 同样需要展示它的 proof of work(工作证明)。它做得越多、过程越透明,你就越能信任它的结论。
怎么检查一个 AI 知识工作产品
判断一个 AI 产品值不值得信任,别只看演示效果,看它给不给你三样东西:
- **过程可见。**它有没有让你看到进行中的工作、中间步骤,而不是只丢结论?
- **引用和输入可查。**它有没有告诉你每个数字、每个判断来自哪份资料?漏了哪个关键输入?
- **推理可跟。**你能不能沿着它的思考过程走一遍,看它怎么从输入到结论?还是只能接受一个黑箱答案?
这三样都满足,你才有机会验证它的工作;缺一样,你就回到了「只能信数字」的处境。另一个相关的检查是上下文:agent 是否拥有完成你要求之事所需的上下文——它能不能看到你的邮件、你的所有文档?一个没有上下文就开工的 agent,产出越漂亮越可疑。
什么该看输出,什么该看过程
不是所有知识工作都要走完整的证明过程。区分标准是后果的不可逆程度:结论错了会直接造成损失、难以发现、影响他人的,必须看过程——财务模型、方案推荐、对外文案、风险评估;结论错了很容易发现、可以快速纠正、只影响自己的,可以看输出——草稿、脑暴、摘要、格式转换。
一个务实的做法:把「需要相信」和「只是参考」分开。需要相信的,要求 proof of work;只是参考的,看输出就够。这两类混在一起,你会陷入要么全信、要么全不信的两难。
