追本之箭 — 对齐的学习率

2026-07-05 Sun 07:02

起点

年轻 说:年轻不是年龄,是学习率 α 还没退火到 0。

新模型 = 旧模型 + α × 预测误差

对齐 说:活着就是关闭模型和世界之间的缝;而关缝只有两个方向:

理解 → 世界: 改地图
世界 → 理解: 改地形

两句话合起来,原来的"年轻"会裂开。

因为预测误差只告诉你一件事:

模型和世界不一致。

它没有告诉你:

该改模型,还是该改世界。

如果每一道误差都拿来改自己,你会变成环境的形状。

如果每一道误差都拒绝更新,你会老成一块石头。

所以真正的问题不是:

我的学习率够不够高?

而是:

我的学习率,有没有先过方向门?

第一层:误差不是命令

预测误差是一道缝,不是一道圣旨。

error = world - model

它只说明两端没有对齐。

但缝有两种关法:

年轻 关心的是 α > 0:世界还能不能改变你。

对齐 补了一刀:不是所有误差都应该改变你。

有些误差在说:

你看错了。

另一些误差在说:

世界还没被你做出来。

第二层:α 直连误差,会制造两种死法

第一种死法是老:

error 进来
α = 0
模型不动

它表现为"这个我懂"、"这只是例外"、"以前就是这么成的"。

世界敲门,你不开。

第二种死法更隐蔽:过度适应。

error 进来
α 很高
每次都改自己

这看起来很开放、很会学习。

但底层是另一种失去能动性:

世界每打你一下,你就把自己捏成它要的样子。

老板不合理,你更新成"职场本来如此"。

关系压迫,你更新成"我需求太多"。

市场短期奖励垃圾,你更新成"长期主义没用"。

环境噪声很大,你更新成"我必须跟着抖"。

这不是年轻。

这是高学习率的服从。

所以 α 不能直接接到 error 上。

中间必须有一道门:

error → direction gate → α 或 β

α 改模型。

β 改世界。

第三层:方向门有四个判据

每次缝出现,先问四件事。

1. 世界可塑吗?

如果世界不可塑,硬改世界就是撞墙。

这时该改地图。

可塑性低 → α 通道
可塑性高 → 继续判断

2. 你有杠杆吗?

世界可塑,不等于你有杠杆。

没有杠杆的行动只是消耗。

3. 这件事落在你的价值向量里吗?

能改,也不一定值得改。

否则每个摩擦都会变成项目,你会被世界拖着跑。

4. 改世界的下行可承受吗?

行动常不可逆。

若下行会杀死系统,先补冗余,再行动。

于是方向门可以写成:

if world_plasticity low:
    update_model(α)
elif leverage high and value_alignment high and downside_bounded:
    act_on_world(β)
else:
    update_model_partly + build_leverage

第四层:只会改地图的人,会活得很久,但世界里没有他

对齐 里最狠的一句是:

生存靠改地图,进步靠改世界。

只会改地图的人,很适应。

但他没有在世界上留下形状。

他把每个不可忍都翻译成"我应该理解"。

把每个不合理都翻译成"现实如此"。

把每个愿望都翻译成"我该降低期待"。

这是一种低冲突的老。

不是 α = 0 的老,而是 β = 0 的老:

α > 0: 我会被世界改变
β = 0: 世界不会被我改变

真正年轻的系统,两条通道都没死:

α_alive: 世界能纠正我
β_alive: 我也能改写世界
gate_alive: 我分得清该走哪条

所以年轻不是柔软。

年轻是可塑,但不任人塑形。

终点:先诊断方向,再谈学习率

别再直接问:

我是不是足够开放?

这个问题会骗人。

过度适应的人也很开放。

改问:

这道缝,我打算从哪端关?为什么?

诊断表

三个动作

1. 给误差贴方向标签

每次被现实打脸,不要先改自己。先写一句:

   这是事实误差,还是地形未完成?

1. 保留 α,也保留 β

本周至少做一件"承认我错了"的事,也做一件"世界这里该改"的事。

只做前者会驯服,只做后者会偏执。

1. 用下行边界保护行动

当你判断该改世界,先问下行能否承受。不能承受,不是改地图认命,而是先补冗余、找杠杆、缩小试验。

最后一句

年轻不是世界每次推你,你都变形。

那只是高学习率的泥。

年轻也不是世界怎么推,你都不动。

那是石头。

真正年轻的系统,是每一道缝出现时,还分得清:

这一次,该让世界改变我,还是该由我改变世界。

(箭到底了。)

延伸 · 同簇「对齐罗盘学习率」 · 反馈的墙 · 对齐 · 带罗盘的更新 · 盲区里的学习率