大可的 AI Builder 手记
跟随系统
颜色主题
长沙小桌实战
大可 Dako
大可 Dako大可 DakoAI Builder · Agent 实践者用 AI 做真正能用的产品。专注探索 Agent 工程化落地、Vibe Coding 实践与商业化交付。
内容平台即将上线,敬请期待
同一个问题,两种答法:多写就是多算,也多花钱值得多想多步推演、结果能自查、错了代价高准确率换得回来,中间步骤给了它修正的机会不值得多想查资料、改格式、简单抽取,一步就能出结果钱和延迟都花了,答案和直接答没有区别分界线只有一条:这个任务需不需要多步推演
多想一会儿不是换了一个更聪明的模型,是让它先花一大段输出来打草稿。草稿一样收钱。

推理模型

深度思考是作答前先写一份长草稿,而草稿按输出价计费。判断标准只有一条:这个任务需不需要多步推演。

深度思考不是换了一个更聪明的模型,是让它作答前先写一份长草稿——而草稿按输出价计费。所以问题不是「它会不会更强」,而是这个任务值不值得多花这份钱。

读完你能回答:

  • 为什么让模型「先想再答」真的会提高准确率?
  • 哪一类任务开了深度思考是纯浪费?
  • 为什么不能把「思考过程」当依据交给用户?

它不是更聪明,是先写了一份草稿

先回忆它平时怎么工作:模型每次只预测下一个 token,一路往下接。中间并不存在一个独立环节,能让它「先在心里想明白,再开口」。它的思考,就是它写出来的东西。

推理模型做的事,是在这条机制上加了一道改造:正式给出答案之前,先让它写出一长段推演,内容大致是拆解题目、把中间步骤逐条列出、回头检查自己有哪些假设。这段东西用户通常看不到,要么被藏起来,要么收在「思考过程」那一栏里。思维链那篇论文讲的核心发现与此吻合:中间步骤一旦被显式写下来,后续每一步预测都能读到前面推演的内容,出错的概率随之下降。chain-of-thought

为什么会有用?因为在这套机制里,写得越多,等于算得越多。一道需要好几步才能推完的题,让它直接报答案,就是要它一步跨到终点;让它先把中间几步写出来,就等于中途留了几次改主意的机会。这个机制在多写中间步骤,是在给自己铺路单独讲过,这里只说它被做成了模型的默认行为:后来的一批推理模型改用强化学习,把「先推演、再作答」这个习惯直接训进权重,在数学和代码类任务上提升明显。deepseek-r1

那份草稿按输出计费

产品上最要紧的一条:这段草稿的计费口径是输出价,而输出价往往数倍于输入价。

所以推理模型之所以贵,多数时候不是单价定得高,而是它吐出来的量大了太多。用户眼里只有一小段答案,背后可能生成了十倍的推演——而这些推演同样要你付费。

留出这段预算还有两个连带后果。一是慢:那段推演得一个 token 一个 token 吐出来,用户只能等着。二是延迟不可预测:题目难它想得久,题目简单它想得短,同一个功能的响应时间因此飘忽不定,给加载状态的设计添了不少麻烦。

所以估成本的时候,这一段得单独算进去:推理模型实际吐了多少,要按实测数字来,不能拿答案的长度代替。

全局打开是这套账最常见的浪费

最常见的错误不是「该开的时候没开」,是反过来:全局打开,一劳永逸。 它同时付出三笔代价——成本按输出量放大、延迟变长、响应时间变得不可预测——而大部分请求根本不需要。

可行的做法是分档:产品里绝大多数请求走普通模型,只有被识别为复杂的那一小撮才路由到推理模型。判断路由的依据不是「用户选了哪个开关」,而是任务本身的形状:要不要跨多步、有没有中间结果可以自查、错了以后收回来的成本有多高。这套分档怎么搭、主模型不可用时怎么退,选型与降级讲的是同一件事。

分档还有一个容易被忽略的好处:它让成本可归因。 全部请求都开着深度思考时,账单涨了你不知道是哪一类任务吃掉的;分档之后,哪一档贵、贵得值不值,是能看出来的。

分档线画在哪,只看有没有中间步骤

把请求分到哪一档,不需要罗列一张任务清单。只要问一句:这个任务有没有值得写下来的中间步骤。 有,就是它发挥作用的地方;没有,付出的钱和延迟都换不回东西。

  • 有中间步骤的。 需要几层推导才能落地的计算、几处约束必须同时成立的排查、要在几个方案之间逐条比较代价再取舍——这类任务里推演本身就是有用的产出,每一步写出来,都给了后续判断一次纠错的机会。
  • 没有中间步骤的。 把一段自由文本归到某一类、按字段把内容抄进结构里,答案一步就定了,多想只是把同一个判断换个说法重讲一遍;把一种格式转成另一种格式,中间不存在可分步的推理;而在用户等着看反馈的场景里,延迟造成的体验损失远远盖过那一点准确率上的收益。

拿不准就做一次对照实验:挑一批真实样例,开与不开各跑一遍,把准确率的增幅和成本的增幅摆在一张表上。如果准确率几乎没有提高,说明这个任务的瓶颈本来就不在推理深度上。

思考过程不是依据,别拿它当审计材料

最后一个坑,代价不小。界面里给你看的那段「思考过程」,跟它内部真正跑的计算不是一回事。 它也是被生成出来的文本,只不过看上去像推理,用的还是同一套预测机制。推演写得头头是道、结论却是错的,这一类很常见;反过来,推演漏洞明显、结论歪打正着,同样会出现。推演是否成立和结论是否正确,本来就是两个独立的判断。

所以有两件事不能做:别把这段过程当作可以审计的证据拿去给用户看或写进合规材料;也别因为推演读起来严密,就放松对结论的核查。 该验证的还是要验证——推理模型只是降低了编造的概率,没有改变机制,编造仍然是它的默认行为。

要不要开深度思考,最后还是会回到同一个问题上:这笔多出来的输出,换来的是什么。 想清楚这笔钱花在哪,得先看清楚它的输出是怎么计价、怎么随长度增长的——Token 与计费单位讲的就是这个。

参考资料

  1. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models — arXiv
  2. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning — arXiv