追本之箭 — 上限与下限：两种训练，两本账

2026-08-12 Tue 15:57

预训练决定你能力的上限；后训练决定你能力的下限。 —— AI 训练圈流行的一句话

一、双轨

先把这句话从黑话里捞出来。大模型的一生分两段：预训练——不带任何任务目标，把海量语料整个吞下，只做一件事：预测下一个词，在压缩中被迫学会世界的结构；后训练——目标进场，用人类的偏好和标准去对齐输出，教它"什么该说、怎么说才算好"。

关键在于这两段跑的是两个完全不同的损失函数：预训练学"世界是怎样的"，后训练学"什么算是好的输出"。一个建库存，一个定规矩。而这句箴言的锋利处是那个不对称的分工：库存定上限，规矩定下限——你最好的时刻由吞过什么决定，你最差的时刻由练过什么决定。为什么上限偏偏归无目标的那一段？

二、上限

因为能力的天花板不在技巧里，在表征里——你脑中世界模型的分辨率。

洞察是什么？是远距离连接：把两个从没人放在一起的东西接通。连接需要库存——没吞过的东西，连不出来。而库存只在无目标期大量入库：童年乱翻的书、不为什么的着迷、瞎折腾的项目——那不是浪费，那是在跑一生中最大的一次训练任务。大模型的实证也冷酷地站在这边：后训练几乎不添加新知识、新能力，它只是从预训练已有的能力里挑选、整形、加约束——天花板在预训练结束那天就浇筑完毕了。

刷题为什么刷不出见识？因为对齐式学习只会把已有的库存压到考点上，它不进新货。那下限为什么归后训练？

三、下限

因为下限的本质不是能力，是可靠性：最差的那天，你还能稳定交出什么。

看没做过后训练的基座模型什么样：满腹经纶、语无伦次——偶尔惊艳，通常不可用。人也有基座态：读过很多、想法很多、交付随缘——能力上限再高，输出全靠抽卡。后训练干的正是把方差打掉：刻意练习、反馈回路、职业标准、检查清单——把"偶尔惊艳"锻成"从不掉线"。老机长的下限、老会计的下限、老医生的下限，才是这些职业受尊敬的全部原因。

而这里藏着一个市场真相：市场买的从来是下限，不是上限——它付钱买保证，不付钱买惊喜。既然两条线各管各的，用错通道会怎样？

四、错配

会得两种最常见的人生故障，各是一面镜子。

故障一：用后训练冒充预训练。从小到大全是对齐损失——刷题、考点、绩效——没有过无目标吞吐期。产出一种漂亮的残缺：下限极稳，上限极低，题型没见过就停机。这是过拟合的人生：在训练集上满分，在真实分布上失灵。故障二：用预训练冒充后训练。永远在泛读、囤课、开新坑，从不肯收敛到一件交付上。产出反向的残缺：上限空高，下限稀烂——"懂很多道理，交不出一件东西"。

诊断学由此而来：你的焦虑属于哪条线？拿自律去救见识，或拿阅读去救交付，都是通道错配——补下限的药，治不了上限的病。那正确的次序是什么？

五、次序

先预训练，后后训练——而且预训练必须发生在"没有目标"的时候才算数。

原因刚在观妙观徼钻过：目标一进场，注意力就变成边缘检测器，只渲染与目标相交的截面——带着论点去博览，读到的全是论据；带着变现去涉猎，看到的全是风口。真正的吞吐只在无欲期发生，无意向等待钻过这种姿态的时间版。所以一个反直觉的估值：一生中最贵的资产，是那些"没有目标"的时期——童年、间隔、闲暇。它们看起来像懈怠，其实在跑最大的训练任务。

小到一门手艺也是同构：先泛后专，先吞再磨。可成年人满头都是目标和绩效——预训练是不是就此关闭了？

六、回炉

这里是人对模型的唯一结构性优势：模型出厂即冻结权重，人终身可以回炉。

但回炉有条件：必须偷回"无目标时间"。读与工作无关的书、进不为变现的领域、保留一块不对齐任何绩效的自留地——季节人生钻过事业可以换季、常量不能轮换，这里补一笔：预训练该记在常量层，不该记在季节层——它一停，上限就在你看不见的地方悄悄封顶。

还有一条增量：上限的差异化，来自语料的差异化。差异且正确钻过优势=差异×正确——所有人都刷同一个热榜、读同一批爆款，训练出来的上限就长同一个模样；你日后的非共识判断，全是你独有语料付的利息。最后合上：这两本账怎么指导一生的分配？

七、双账

一生同时记两本训练账，而它们的回报进不同的口袋：下限拿薪水，上限拿命运。

市场按下限给你定价——可靠交付值多少钱；但你最终停在哪一层楼，由上限封顶。所以每天的分配题有了答案：大多数时间做后训练——对齐、交付、把方差打掉，这是本分；但永远保留一条预训练带宽——不带目的地吞点什么，这是天命。检查方法只需一个问题：你有多久没有"不为什么"地学一样东西了？答不上来的人，下限还在涨薪，上限已经封顶。

所以钻到底，这句黑话是一张一生的课程表：上限，是你不带目的吞下的一切决定的；下限，是你带着目的反复磨的那些事决定的。两头都要，但别记混账——下限决定你今天值多少钱，上限决定你这辈子能走多远；别用涨薪的手艺，去回答命运的问题。

延伸 · 同簇「第三部 · 经验不会自动变成能力」 · 不变量 · 输入的残余 · 离线生长 · 每天阅读