参数与跑分

参数量说的是权重有多大，上下文长度说的是一次能读多少，跑分说的是它在特定题库上考得怎么样。三者和你的任务都不是一回事。

参数量、上下文长度、跑分，这三个数字经常被当成同一件事在说，实际各回答一个不同的问题，而且没有哪一个回答你最关心的那个：它在你这批活上做得怎么样。

读完你能回答：

三个数字分别回答什么问题，各自不能回答什么？
跑分高为什么还可能在你的场景里不好用？
该用什么替代跑分来做选型？
上下文长度买大一点，为什么常常买了个安心而不是买到了效果？

参数量说的是上限，不是这一批活的表现

参数量指的是模型里权重的个数。它刻画的是一个模型最多能容纳多少统计规律，因此常被当成能力上限。

但是上限和实际表现是两回事。同一个规模档位上，换一批训练语料、换一套后训练的做法，做出来的模型完全可能在这类任务上赢、在那类任务上输。「越大越强」这个结论出自规模定律这一类研究，它描述的是整体趋势，落到某一个具体型号上并不成立。scaling-laws

何况现在多数厂商已经不再公布这个数字，你拿到的往往只是一个档位名。作为选型依据，它的实际可用性还在往下走。

这条判断的用法：看到「参数量更大」时，把它当成一个粗略的量级提示，不要当成结论。它回答的是「这个模型大概有多大」，答不了「它这次做得好不好」。

上下文长度答的是装得下，不是用得上

上下文长度指的是单次请求能容纳的 token 上限。它与模型的聪明程度没有关系，决定的只是一次能不能读完。

装得下和用得上并不是一回事：上下文拉长之后，中间那部分内容被实际利用的概率会显著下降，有实验专门量化过这个现象。lost-in-middle 长上下文会怎么退化讲的就是这条线的下游。

对做产品的人来说，这一条的落点很实际：大窗口意味着你有了余量，但余量不等于可以不加挑选地堆材料。把整个知识库一次灌进去，通常换来的不是更准的回答，而是更模糊的回答——材料越多，真正相关的那几段越容易被淹掉。

这条判断的用法：把标称窗口当成容量上限来理解，当成实际可用容量就错了。窗口的数字解不了「该放哪几段材料」这个问题。

跑分只是它在别人那批题上的成绩

跑分指的是模型在公开题库上的正确率。它能说明的只有一件事——这个模型在那批题上的作答情况，除此之外说明不了别的。

它骗人的地方有四处。

题库会泄漏进训练集。公开题库就挂在网上，训练时很难完全排除。已经有人系统地测量过这种污染，结论是高分里有一部分来自「见过题」。data-contamination 这件事从外部无法证伪，所以只能对高分保留一点余地。
考的题型跟你的场景可能完全不是一回事。榜单大多围绕知识问答和标准推理来设计，而你的产品要做的也许是「把一份采购合同里的付款条款、交付日期和违约金抽成结构化字段」。这两类能力的高低排序，反过来排也完全说得通。
小数点后的差距没有意义。榜单上相差零点几，还不如提示词改动一次造成的波动大。真正值得在意的是跨档次的差距。
榜单里没有你最关心的那些指标。输出格式稳不稳、明令禁止的事守不守得住、对话拉长之后会不会失控、并发上来延迟会变成什么样——这些都没有榜可查，但它们恰恰是上线以后出事的地方。

榜单不是不能看。基于人类偏好的对比榜适合看趋势，不适合替代你自己的实测。lmarena 但它能回答的仍然只是那一个问题：在别人出的题上，它考得怎么样。

真正能当依据的，是你自己攒的一小撮用例

选型要变成一件可执行的事，靠的是自己攒的一份题，而不是任何榜单。这件事本身要做成什么、怎么维护，按任务分档配模型讲得更完整；这里只交代它为什么替代得了榜单。

三个数字之所以都靠不住，是因为它们答的都是别人的问题：参数量答「它有多大」，上下文长度答「装得下多少」，跑分答「在别人出的题上考得怎么样」。你的问题只有一个，而只有你自己的用例能答它。素材从真实场景里挑，几十条就够，要同时包含常见的、边界上的、以及你们最怕出错的那几种，每条都写明判合格的标准。它的价值是双份的：选的时候有依据，改的时候有凭据。

还有一条用得上的顺序：很多任务本身就有一条及格线。先用便宜的档位试，一旦过线，就没有理由再花钱上更贵的——在成本上，这一条的杠杆比任何提示词优化都大。

这一条推不出什么

推不出「所以三个数字都不用看」。它们有各自的用处：参数量告诉你这个模型大概在哪个量级，上下文长度决定你能装多少材料，跑分能快速排除明显不合适的候选。它们的问题不在于没用，而在于被当成了选型结论。

也推不出「所以选最贵的准没错」。档位和价格相关，但和你任务的表现不相关——按任务分档配模型讲的正是这件事：大部分请求根本用不上最贵的那一档，而少数几个难任务上，贵的那个也确实值。