输入的残余
追本之箭 — 输入的残余
2026-09-18 Fri 07:03
你最好的时刻由吞过什么决定;但吞下去的东西,究竟有多少长成了你?
一、吞咽
上限与下限说,预训练决定能力的上限:没吞过的东西,连不出来。这个判断很容易被偷换成一条令人愉快的会计规则:读得越多,库存越大;收藏越满,上限越高。
可人的输入记录太容易伪造增长。一本书读完了,进度条确实到了百分之百;一门课听完了,平台确实发了证书。这些只证明信息经过了你,像物流单证明包裹曾在门口签收。至于包裹有没有拆,里面的东西有没有进入生活,单据一概不管。
名与知已经拆过这种错认:拿到门牌号,便误以为进过房间。输入量记录的也是门牌号。你可以准确复述作者、术语、章节,脑内结构仍与阅读前完全相同。信息穿过一个人,不等于改变一个人。
那输入散场以后,究竟该查什么?
二、散场
残余测试给了第一道门槛:事情结束二十四小时后,多了什么可调用的?对一般能力,这个问题够硬。放到预训练上,还得再钻一层,因为记得住也可能只是缓存更久。
背得出一个答案,是记忆残余;照着范例完成同类题,是模板残余。两者都依赖原题仍在场:题目换皮太多,答案便找不到插口。真正抬高上限的残余更隐蔽。它没有固定句子,甚至常常忘了来自哪本书,却会让你在陌生问题面前多看见一条轴、多分出一种情况、多提出一个以前不会出现的问题。
所以预训练的残余不能只问“还记得什么”。更严的问法是:拿掉原书、原课、原术语,你还能看见什么以前看不见的差异?
差异为什么比答案更接近能力?
三、切分
因为思考先于推理的动作,是切分。
新手看见一团连续的东西:两家公司都在亏损,两次争吵都是情绪化,两个项目都延期。专家先看见内部边界:一种亏损在买增长,另一种亏损在维持停滞;一次争吵在争事实,另一次在争谁有解释权;一个延期来自未知探索,另一个来自依赖排队。结论还没出现,世界已经被切成了不同的对象。
这就是表征的分辨率。学习若真正发生,最先改变的并非答案数量,而是状态空间的划分方式。原来混成一块的地方出现边界,原来毫无关系的地方出现共同结构。能力上限取决于你能分出多少对结果有影响的差异。 分不出来,推理只能在一团噪声上用力;分得出来,许多答案会自己显形。
可一次阅读怎样从句子变成切分世界的边界?
四、编码
大脑不可能保存世界的原件,只能保存一种压缩方式。压缩保留哪些差异、丢掉哪些差异,决定了日后什么会被你认作信号。
低质量输入留下原句。遇到相似场景,你在记忆里搜索一句能贴上去的话。高质量输入修改编码器:以后每个新场景进来,都会自动沿新增的维度被重新切分。你不必想起术语,术语训练出的辨别已经先于意识工作。
可以把上限增量写成一个粗糙的乘法:
上限增量 ≈ 新增的有效区分 × 跨题迁移范围
区分很多却只在原题里有效,是题库;迁移很广却没有新增区分,是套话。两项有一项为零,输入就没有抬高上限。它也许增加谈资,甚至制造“我懂了”的强烈体感,却没有改变编码世界的方式。
编码器藏在观察者身上,怎样把它拉出来验货?
五、迁徙
把它赶出出生地。
关掉原文,撤走原作者的词,把同一结构放进另一个领域。一个从软件系统学到“瓶颈”的人,能否在家庭日程里找到那条限制全局吞吐的依赖?一个从投资学到“期权”的人,能否在职业选择里识别小额成本换大范围未来的结构?若概念离开原例就失语,你拿到的是答案的复制件。
阅读是书的下一次迭代把阅读写成一次改写。这里补上验收方式:改写必须在别处留下差异。三十天内,把这次输入带到三个事先未指定的问题里。若它没有产生新的区分、可检验的假设或不同的动作,所谓“表征残余”就被证伪了。你留下的只是记忆库存,或一段关于自己正在成长的叙事。
但这似乎反过来威胁了预训练:既然要靠任务验收,为什么还强调无目标输入?
六、游荡
因为当前任务只能验货,不能规定未来需要长出什么。
带着明确目标学习,注意力会主动丢掉与交付无关的维度。它效率很高,也会把表征锁在当前题型里。无目标输入的价值,在于它暂时撤掉这道筛选,让一些尚无用途的区分有机会进入编码器。观妙观徼说欲望是一枚镜头:有欲看把手,无欲看全幅。预训练借的正是那一段全幅时间。
“无目标”却不等于“无残余要求”。当下不知道它会迁移到哪里,仍可观察它有没有改动你的切分:是否出现了一个活问题,是否把两个远处的经验接通,是否让原本同名的事物分开。没有这些微小结构变化的游荡,只是在更宽的货架上继续吞咽。
因此,无目标学习允许用途迟到,不允许变化缺席。用途可能几年后出现,表征的改写必须已经发生。改写最后落在哪里?
七、器官
落在观察者身上。
信息还是外物时,可以被清点、引用、遗忘。表征一旦改变,它会成为知觉器官:你不再需要调用它,因为此后的世界都经它进入。学会读资产负债表之后,很难再把负债当成一个孤立数字;理解反馈回路之后,很难再把反复发生的问题只怪给当事人。原书可以忘,新增的差异退不回混沌。
这才是“吞过什么决定上限”的严格版本。决定上限的并非经过眼睛的信息总量,而是留在观察者内部、还能跨题工作的编码变化。它的验收也很冷酷:若一份输入能被完整地从你身上取走,取走后你看世界的方式毫无变化,它从未真正进入你。
学习最终改变的,不是你拥有多少信息,而是你有能力看见哪些差异。真正留下来的输入已经不在书架、笔记或记忆里。它长成了那双正在看世界的眼睛,而你再也无法站到眼睛之外,把它原样归还。
延伸 · 同簇「第三部 · 经验不会自动变成能力」 · 武藏九戒 · 不变量 · 上限与下限 · 离线生长