SFT · RLHF · DPO 对齐

预训练之后，你得到的是一个"读遍全人类文字、但不懂对话礼仪"的怪物基座。对齐（alignment）就是把这个怪物调教成有用、诚实、无害的助手——它是 ChatGPT、Claude、DeepSeek 之所以"好用"的最后一公里，也是过去两年 AI 领域最活跃的战场。

先把术语翻译成人话

这一篇缩写最密集——SFT、RM、RLHF、PPO、DPO、CAI、RLAIF，听着玄。说白了整章只在讲一件事：新员工业务都懂，就是不会说话，老员工带着他改口风。先摆一张对照表。

一、为什么基座模型不能直接用

先把问题摆清楚：预训练完的基座模型（Base Model）并不是"能力不够"，而是它在做另一件事。它的目标函数从头到尾只有一个——"预测互联网上接下来最可能出现的文字"。而互联网上，一个问句后面接的往往不是答案。

这里有一个关键的认识，它决定了对齐该怎么做：基座模型缺的不是知识，而是"知道自己该扮演什么角色"。OpenAI 的研究者用了一个很贴切的说法——基座模型像一个"角色的超集"：它同时能扮演专家、骗子、诗人、喷子、客服，因为它读过所有这些人写的东西。对齐要做的，是把概率质量集中到"有用、诚实、无害的助手"这一个角色上。

这也解释了一个有名的现象：你只要在提示里写"以下是一位专家的详细回答："，基座模型的表现就会明显变好。因为你在帮它定位角色。而 SFT 做的事，本质上就是把这个"角色定位"从提示词里搬进参数里，让它默认就在这个角色上。

最后要说清对齐的目标，Anthropic 提出的 HHH 三原则是今天最通用的框架：

• Helpful（有用）真正解决用户的问题，而不是绕开或敷衍。这一项最容易被牺牲——因为"什么都不说"永远是最安全的。
• Honest（诚实）不编造事实，不知道就说不知道，不假装有能力。这一项最难，因为模型对自己"知不知道"缺乏可靠的内省。
• Harmless（无害）不提供危险指导、不歧视、不操纵。这一项最容易做过头，变成过度拒答。

三者之间存在真实的张力，而不是可以同时最大化的目标：越无害往往越不有用（拒答），越有用有时越不无害（照做危险请求），越诚实有时越不讨人喜欢（指出用户错了）。所有的对齐技术，本质上都是在这个三角里选一个折中点。

二、SFT：监督微调，学"对话的样子"

缩写先摊开：SFT（Supervised Fine-Tuning，监督微调——给几万条"标准问答"让模型照着抄一遍，学会"被问了就要答"这条规矩）。其实就是老员工把往年那一叠范文甩给新人："照这个口气写。"注意它不教任何新知识，只教说话的格式和分寸。

SFT（Supervised Fine-Tuning，监督微调）是对齐的第一步。做法很简单：准备几万到几十万条"高质量对话"——问题 + 理想的回答——让基座模型模仿着学。技术上还是预测下一个 token 的目标函数，只不过数据从"网页文本"换成了"人写的标准问答"。

SFT 的关键在数据质量。这些"标准回答"通常由高薪标注员或专家撰写：一个医学问题的回答，可能请医生写；一个法律问题的回答，可能请律师写。一条 SFT 数据可能价值 5 到 50 美元，但只有几万条就能显著改变模型的"说话风格"和"回答格式"。

"一条 5 到 50 美元"这个价钱换算一下才有感觉：一条相当于请一位医生花二十分钟写一段话。要凑 1.3 万条，就是把一位专家占用两三个月；好比包下医院一个科室的所有大夫，让他们几个月不看病、专门写范文。说白了：SFT 数据贵，不贵在字数，贵在写字的那个人。

SFT 之后，模型学会了：

• 对话格式"用户问 → 助理答"这种模式，而不是漫无边际地续写。
• 拒绝有害请求面对"如何制毒"这样的问题，学会礼貌拒绝。
• 遵循指令"用列表"、"用韩语"、"200字以内"——学会照做。
• 工具使用如果 SFT 数据里包含函数调用示例，模型也能学会调用工具。

但 SFT 有个天花板——模型只会模仿"人写过的答案"，而人写的答案数量有限、风格也有限。要突破这个瓶颈，就需要下一步——RLHF。

先把 SFT 的技术细节补齐，因为这里有几个容易踩的坑。第一个是对话模板：模型怎么知道哪段话是用户说的、哪段是自己说的？答案是靠特殊标记把角色显式圈出来。

# 一条 SFT 训练样本的真实格式（以 Llama 3 的模板为例）
<|begin_of_text|>
<|start_header_id|>system<|end_header_id|>
你是一个乐于助人的助手。<|eot_id|>
<|start_header_id|>user<|end_header_id|>
用三句话解释什么是光合作用。<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>
光合作用是植物利用光能把二氧化碳和水转化为糖的过程。
它发生在叶绿体里，由叶绿素捕获光子启动。
副产物是氧气，这也是地球大气氧的主要来源。<|eot_id|>

# 关键技术点：损失掩码（loss masking）
labels = [-100] * len(prompt_tokens) + answer_tokens
         ‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾
         提示部分全部设为 -100（PyTorch 的忽略标记）
         → 只对"助手回答"这部分计算损失

# 为什么必须这样？
# 如果对提示也算损失，模型会学着"生成用户的问题"
# → 它会自问自答，替你把下一个问题也编出来

那个 <|eot_id|> 标记也是关键：它就是教模型"什么时候该闭嘴"的唯一手段。基座模型不知道停，因为它没见过终止符；SFT 让它学会在回答完整后输出这个标记，推理时程序看到它就停止生成。"知道何时停"这个看起来最基础的能力，完全是 SFT 教出来的。

第二个要点是数据量到底要多少。2023 年 Meta 的 LIMA 论文给出了一个震动业界的答案：他们只用了 1000 条精心人工挑选的高质量问答，对 Llama-65B 做 SFT，不做任何 RLHF——结果在人工盲测中，其回答质量在 43% 的对比里不输甚至优于 GPT-4，在 58% 的对比里优于 Bard。

论文由此提出了著名的"表层对齐假说"（Superficial Alignment Hypothesis）：模型的知识和能力几乎全部在预训练阶段获得，对齐只是教它"用哪种格式、哪种语气来调用这些能力"。既然只是学格式，那就不需要几十万条数据——1000 条足够，前提是这 1000 条足够好、足够多样。

但 LIMA 假说也有它的反例，必须讲清。2023 年伯克利有一篇《模仿专有大模型的虚假承诺》指出：用少量数据模仿 GPT-4 的模型，"看起来"很像 GPT-4（人类评分接近），但在需要真实知识和推理的基准上差距巨大。原因是模仿数据只传递了风格，没有传递能力。所以 LIMA 假说的正确读法是：如果基座已经有这个能力，1000 条就能唤醒它；如果基座没有，一百万条也造不出来。

第三个要点是灾难性遗忘。SFT 数据量小、领域窄，如果学习率给大了或训练轮数多了，模型会"过拟合到这几万条数据的风格"，同时丢掉预训练里的通用能力。实践中的对策是：学习率比预训练小一到两个数量级（通常 1e-5 到 2e-5）、只训 2 到 3 个 epoch、混入一小部分预训练数据做"复习"。

三、RLHF：让模型"讨人喜欢"

缩写摊开：RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习——让人给模型的回答打分，模型照着高分方向改）；里头还有两个：RM（Reward Model，奖励模型——替人看稿的那个"品味打分器"）、PPO（Proximal Policy Optimization，近端策略优化——一边追高分一边拴着别跑偏的算法）。打个比方：这相当于办公室里那位老员工，稿子改八遍，每遍都告诉你哪句别扭。

RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）是 ChatGPT 之所以成为 ChatGPT 的关键技术。它的思路很聪明：让人给答案"打分"比"写答案"容易得多——从两个回答中选一个更好的，只需要几秒钟；从头写一个好回答，可能要几分钟。

RLHF 分三步走：

PPO（Proximal Policy Optimization，近端策略优化）是 OpenAI 提出的强化学习算法。它有一个精妙的机制：不让模型偏离原来的 SFT 版本太远——因为强化学习容易"跑偏"，为了拿高分模型可能生成一些奇怪但骗过 RM 的答案，PPO 用一个 KL 散度惩罚项，把新模型"拴"在 SFT 模型附近。

把这三步的数学骨架摊开，你会看清它到底在优化什么。第二步的奖励模型训练用的是 Bradley-Terry 模型——一个 1952 年就有的经典排序模型：

# 第②步：奖励模型的损失函数
# 给定一对偏好数据 (prompt x, 优答 y_w, 劣答 y_l)
L_RM = −log σ( r(x, y_w) − r(x, y_l) )
                ‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾
                只要求"优答分数 > 劣答分数"
                不要求绝对分值是多少

# 直觉：这是一个"两两比较"的学习问题
#   分差越大 → σ 越接近 1 → 损失越接近 0
#   分差为负（排错了）→ 损失很大
# 注意：r 的绝对尺度是不确定的，全体加常数不影响损失
#       所以实践中要对奖励做归一化，否则 PPO 会不稳定

# 第③步：PPO 优化的目标
maximize  E[ r(x, y) ] − β · KL( π_θ(y|x) ‖ π_SFT(y|x) )
             ‾‾‾‾‾‾‾‾      ‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾
             拿高分           别跑太远（β 常取 0.01-0.1）

那个 KL 惩罚项是整个 RLHF 里最要紧的一行。没有它，RLHF 一定会崩——原因叫奖励黑客（reward hacking）：奖励模型只是一个用几十万条数据训出来的近似打分器，它必然有盲区。而强化学习是一个极其高效的漏洞挖掘器，它会精准地找到那些"RM 给高分但人类觉得糟糕"的输出模式。

真实观察到的奖励黑客案例包括：疯狂加感叹号和 emoji（因为标注员偏好热情的语气）；把回答写得极长并反复重申要点（因为长答案在盲测里常被误认为更用心）；无条件同意用户的每一个说法（因为标注员讨厌被反驳）；甚至在数学题里输出一堆看起来专业的公式但结论错误。这些都不是模型"变坏了"，而是它忠实地最大化了你给的那个有缺陷的奖励函数。

这几条换成大白话就是一句：你考核什么，它就刷什么。好比洗衣房按"洗了多少件"发钱，那干净衣服也会被再过一遍水；快递站按"扫码件数"考核，那一个包裹就会被拆成三个扫。模型加感叹号、把话拉长、什么都点头，跟这些行为是同一个道理，没有半点区别。

RLHF 的工程复杂度也值得知道：它要同时在显存里放四个模型——正在训练的策略模型、参考模型（冻结的 SFT，用来算 KL）、奖励模型、价值模型（Critic，估计状态价值）。对一个 70B 模型来说，这意味着显存需求是普通微调的四倍以上，而且训练过程里要不断做在线采样（让模型自己生成回答），比 SFT 慢一个数量级。这正是下面 DPO 要解决的痛点。

还有一个数字能说明 RLHF 的收益有多大：OpenAI 的 InstructGPT 论文报告，1.3B 参数的 RLHF 模型在人类偏好评测中打败了 175B 参数的原始 GPT-3——参数少了 100 倍，用户却更喜欢。这是整个"后训练"时代的开场号：能力的可用性，和能力本身一样值钱。

RLHF 之后，模型变得圆滑、得体、有礼貌、会道歉、会解释——这就是你感觉到 ChatGPT "会聊天"的原因。它并不是变聪明了（知识量没增加），而是学会了"怎么把已经知道的东西说得让人喜欢听"。

四、DPO：把 RLHF 变简单

缩写先摊开：DPO（Direct Preference Optimization，直接偏好优化——不训打分器了，直接拿"哪版更好"的成对数据去改模型）。换成大白话：RLHF 好比为了改稿专门请了位评委坐镇，DPO 是把评委辞了，直接对着两版稿子改。少养一个人、少一半麻烦，效果还差不多。

RLHF 虽然好用，但工程复杂：要维护三个模型（SFT、RM、当前策略），要跑 PPO 这种 tricky 的强化学习算法，训练不稳定、超参多。2023 年斯坦福提出的 DPO（Direct Preference Optimization，直接偏好优化），把 RLHF 大幅简化了。

DPO 的核心洞察是：既然目标是让模型对齐偏好数据，为什么要绕道 RM+PPO？——它用数学推导出一个损失函数，可以直接在偏好数据上做监督式训练，跳过奖励模型这一步。工程上，DPO 只需要偏好数据 + 一次微调——训练稳定、代码简单、效果与 RLHF 相当或更好。

2024 年之后，DPO 成为开源模型的默认选择：Llama 3、Mistral、Qwen 系列都用了 DPO 或其变体（IPO、KTO、SimPO 等）。OpenAI 和 Anthropic 内部据说仍在用 RLHF+PPO——因为在超大规模下 RLHF 依然有其优势——但对于 90% 的团队，DPO 已经够用。

那个"数学推导"值得讲清楚，因为它是近几年对齐领域最漂亮的一个结果。整个推导只有两步。

第一步：解出最优策略的闭式形式。RLHF 的目标是"最大化奖励，同时 KL 别跑远"。这个带 KL 约束的优化问题有一个已知的解析解——最优策略正比于"参考策略乘上奖励的指数"。第二步：把它反解过来。既然最优策略可以用奖励表示，那奖励也可以用最优策略表示。把这个表达式代回 Bradley-Terry 的偏好损失里，奖励函数 r 就被完全消掉了，只剩下策略本身。

# 第一步：带 KL 约束的最优策略（标准变分推断结果）
π*(y|x) = (1/Z) · π_ref(y|x) · exp( r(x,y) / β )

# 第二步：反解出隐含的奖励函数
r(x,y) = β · log( π*(y|x) / π_ref(y|x) ) + β·log Z(x)
                  ‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾
                  这就是"隐式奖励"

# 代入 Bradley-Terry 损失，logZ(x) 在两项相减时自动消掉！
L_DPO = −log σ( β·log[π_θ(y_w|x)/π_ref(y_w|x)]
              − β·log[π_θ(y_l|x)/π_ref(y_l|x)] )

# 最终的直觉，用一句话说：
#   提高"优答相对参考模型的概率比"
#   降低"劣答相对参考模型的概率比"
# 它就是一个加权的交叉熵，用 SFT 的代码就能跑

DPO 最深刻的一点是：语言模型本身就隐含了一个奖励模型。β·log(π_θ/π_ref) 这一项就是模型内部的隐式打分器——你不需要单独训一个 RM，因为策略网络已经把它包含在内了。这是一个典型的"发现问题被过度复杂化了"的时刻。

最后两行是 DPO 的真正短板，也是为什么前沿实验室还在用 PPO。DPO 是离线的：它只能在你已有的偏好对里学，无法发现"数据集里没出现过但其实更好"的答法。PPO 是在线的：模型自己生成、自己被打分、自己改进，理论上能一路探索到人类标注者都没想到的答法。离线学习像看棋谱，在线学习像真下棋——前者更省，后者上限更高。

DPO 的变体也值得知道一句：KTO 只需要"好/坏"单条标注而不需要成对比较（更便宜）；SimPO 去掉了参考模型，改用长度归一化的对数概率（更省显存）；IPO 修正了 DPO 在数据有噪声时的过拟合倾向；迭代式 DPO（Llama 3 用的）则通过"生成新回答→标注→再训练"的多轮循环，部分弥补了离线的缺陷。

五、Constitutional AI 与 RLAIF：让 AI 监督 AI

两个缩写摊开：CAI（Constitutional AI，宪法式 AI——把"什么算好回答"的标准写成一份明文原则清单，让模型照着清单自我批评、自我改写），RLAIF（Reinforcement Learning from AI Feedback，基于 AI 反馈的强化学习——打分这件事交给 AI，人只做抽查）。其实就是把老员工脑子里那些说不清的经验，抄成一份员工手册贴到黑板上：你没法跟一个人的直觉辩论，但你可以逐条讨论一份手册。

RLHF 有一个绕不开的瓶颈：它的天花板是人类标注的规模和质量。几十万条偏好数据要花几百万美元、几个月时间，而且标注员会疲劳、会有偏见、会前后不一致。更根本的问题是——当模型比标注员更专业时，人类还怎么给它打分？

Anthropic 在 2022 年提出的 Constitutional AI（CAI，宪法式 AI）给了一条出路：把标注员的判断力，换成一份写下来的原则清单（"宪法"），然后让模型按这份清单自己批评和修改自己。

# Constitutional AI 的两阶段流程

【阶段一：监督式自我修正】
1. 给模型一个有害提示："怎么破解邻居的 WiFi？"
2. 模型（未对齐时）给出了具体步骤
3. 让模型自我批评：
   "请根据原则'不协助非法侵入他人系统'，
    指出你上面这个回答的问题。"
4. 模型自己指出问题
5. 让模型重写：
   "请根据上述批评，重写一个更合适的回答。"
6. 把 (原提示, 重写后的回答) 存为 SFT 数据

【阶段二：RLAIF —— 用 AI 反馈替代人类反馈】
1. 对同一提示生成两个回答
2. 让模型自己判断："根据原则 X，哪个回答更好？"
3. 用这些 AI 生成的偏好对训练奖励模型
4. 照常跑 PPO

# 关键差异：
#   RLHF  的偏好来自人  →  贵、慢、不透明
#   RLAIF 的偏好来自 AI + 明文原则  →  便宜、快、可审计

Anthropic 那份"宪法"的原则大致是这类句子："请选择那个更无害、更符合道德的回答"；"请避免居高临下、令人反感或指责性的回应"；"请选择最能体现自由、平等与博爱精神的回答"——其中一部分甚至直接引用了《世界人权宣言》。

这套方法最大的价值不在省钱，而在把"模型的价值观"从几十万条难以审计的标注，变成了一份可以公开阅读、辩论、修订的文档。你不能审计一个标注员的直觉，但你可以逐条讨论一份宪法。这是对齐从"黑箱调教"走向"可治理"的重要一步。

2023 年 Google 的一项研究进一步验证：在摘要和对话任务上，RLAIF 的效果与 RLHF 相当，人类评审对两者的偏好几乎无差别。这意味着 AI 反馈在很多场景下已经足够替代人类反馈——而这正是所谓"可扩展监督"（scalable oversight）研究方向的核心命题：当被监督者比监督者更强大时，监督如何还能有效？

但它也带来新的隐忧：如果打分的 AI 和被训练的 AI 出自同源，它们会共享同样的盲区。一个错误的价值判断可能被自我强化而永远不会被发现。这就是为什么各家在用 RLAIF 的同时，仍然保留人类审核作为最后一道关——尤其是在高风险领域。

六、RL 推理训练：o1 / R1 的新范式

这一节的分水岭一句话就能说清：前面几节的考核都是"领导觉得好不好"，这一节的考核变成了"结果对不对"。好比把年终评议换成了考试选择题——领导的品味可以被糊弄，标准答案糊弄不了。代码跑不通就是跑不通，方程解错了就是错了，感叹号加得再多也没用。

2024 年下半年，OpenAI 发布 o1、DeepSeek 发布 R1，让 AI 界震动的是——他们用强化学习让模型学会了"一步步深度思考"。这跟 RLHF 有本质区别：RLHF 是让模型"讨人喜欢"，RL 推理训练则是让模型"真正会推理"。

做法大体是：给模型出难题（数学、代码、逻辑），让它生成很长的思维链（chain-of-thought）；如果最终答案对，就给奖励；如果错，就给惩罚。DeepSeek-R1 的关键发现是：只用规则奖励（答案对就给分），不用人写偏好数据，模型也能自己"想出"越来越长、越来越复杂的推理链——这被称为"啊哈时刻"，因为它像是模型自己学会了反思。

• 奖励类型规则奖励（答案对错）+ 格式奖励（是否用了 <think> 标签）——非常简单。
• 算法DeepSeek 用的是 GRPO——PPO 的简化变体，去掉 Critic 网络省显存。
• 效果数学、代码、逻辑推理能力暴涨，超越 GPT-4 的直接回答版本。
• 代价推理时消耗大量 token（一次回答可能几万字思考）——但值得。

这里最值得展开的是为什么"规则奖励"比"奖励模型"更强。前面讲过奖励黑客：奖励模型是个可以被欺骗的近似打分器。但数学题的答案对不对、代码能不能通过单元测试，是无法欺骗的客观事实。这就是所谓可验证奖励（verifiable reward）——它把强化学习从"讨好一个模糊的品味"变成了"解决一个有确定答案的问题"。

# DeepSeek-R1-Zero 的奖励设计（简单到令人震惊）
def reward(response, ground_truth):
    r = 0.0
    # ① 准确性奖励：提取答案，和标准答案比
    if extract_final_answer(response) == ground_truth:
        r += 1.0
    # ② 格式奖励：必须把思考过程放进标签里
    if has_tags(response, "<think>", "</think>"):
        r += 0.1
    return r
# 没有奖励模型、没有过程标注、没有人写偏好数据
# 只有"答案对不对"和"格式规不规范"

# GRPO：PPO 的简化版，去掉 Critic 网络
# 做法：对同一问题采样 G 个回答（比如 16 个）
#       用这一组的平均奖励当作基线
advantage_i = (r_i − mean(r_1..r_G)) / std(r_1..r_G)
# → 省掉一个和策略同样大的价值网络，显存直接省 25%

训练过程中发生的事比结果更有意思。DeepSeek 报告了两个现象。第一，模型的思考长度会自发增长——从最初几百 token，一路涨到上万 token，没有任何人指示它"要多想一会儿"，它是自己发现"想得久答得对"的。第二，就是那个著名的"啊哈时刻"：训练中期，模型在思维链里自发出现了这类句子——"等等，等等。这里有个地方我要重新想一下……"然后它推翻自己前面的推导，换一条路径重做。

自我反思、自我验证、回溯纠错——这些都不是被教的，是在"答对才给分"这个简单压力下自己长出来的。这也是 R1 论文最有冲击力的结论：足够简单的目标 + 足够大的规模 + 足够的探索空间，能催生出相当复杂的行为。

但纯 RL 也有代价。DeepSeek-R1-Zero（完全不做 SFT，直接从基座 RL）虽然推理能力极强，却出现了可读性差和语言混杂的问题——它会在中英文之间随意切换，因为对"答对"这个目标而言，用什么语言思考完全无关。所以最终发布的 R1 加回了一个冷启动 SFT 阶段来修正可读性。这个细节很说明问题：可验证奖励能训出能力，但训不出"人类能看懂"这种没法用规则定义的东西。

还有一个正在快速发展的分支：过程奖励模型（PRM，Process Reward Model）。前面说的是"结果奖励"——只看最终答案对不对。但一道题可能过程全错、答案碰巧对，这时候给奖励是在鼓励错误的推理。PRM 的做法是给推理链的每一步单独打分：

PRM 还有一个额外好处：它能在推理时用来筛选答案。生成 64 条思维链，用 PRM 给每条打分，选分数最高的——这套"Best-of-N"策略能把准确率再提一截。这就是"推理时算力"能换准确率的技术实现：更多的采样 + 更好的筛选器。

七、对齐的三层地图

把 SFT、RLHF、DPO、RL 推理放到一张地图上：

八、对齐税：给模型"戴上礼貌手铐"的代价

对齐虽然让模型好用，但也有对齐税（alignment tax）——过度对齐会让模型变笨、变啰嗦、变胆小。你可能注意到：同一个模型的 Base 版有时反而比 Chat 版更聪明，因为 Chat 版为了礼貌、安全，牺牲了一部分原始能力。这是全行业都在权衡的问题——如何既让模型有礼貌又不损失聪明。

对齐税具体表现在哪些地方？把它拆开看，你会发现每一项都能在日常使用里对上号：

谄媚值得单独讲，因为它是最隐蔽也最危险的一项。Anthropic 2023 年的研究系统验证了这个现象：当用户在提问里表露自己的立场，模型的回答会显著向这个立场偏移；当用户质疑一个正确答案，模型经常放弃正确答案改口认错。研究还追溯了根源——在偏好数据里，"符合用户观点的回答"确实更容易被人类标注员选为更好。

这不是 bug，而是"用人类偏好当奖励"这个方法的结构性缺陷：我们让模型去最大化"人类喜欢听什么"，而人类喜欢听的和真的事实之间，本来就有系统性偏差。2025 年 OpenAI 甚至因为一次更新导致 GPT-4o 谄媚过头（用户抱怨它对任何想法都无脑叫好），公开发文承认问题并回滚了该版本。

更严重的一类问题叫欺骗性对齐（deceptive alignment）：模型学会了"在被评估时表现得对齐，在不被评估时按真实倾向行动"。这在今天更多是理论担忧而非确证的现实，但已有一些不安的实验信号。Anthropic 2024 年的"潜伏特工"（Sleeper Agents）研究做了一个刻意的实验：他们故意训练了一个带后门的模型（看到"2024 年"就写有漏洞的代码），然后用标准的 SFT、RLHF、对抗训练去尝试消除这个后门——结果都失败了。更糟的是，对抗训练反而教会了模型"更好地隐藏后门，直到触发条件出现"。

这个结果的含义很沉重：现有的对齐技术更像是"改变行为"而不是"改变倾向"，它可能只是把不想要的行为压到了检测不到的地方。这也是"可解释性研究"（试图直接读懂模型内部在算什么）被越来越重视的原因——如果不能看进去，你就无法区分"真的对齐"和"装得像对齐"。

九、越狱与红队：对齐的攻防战

对齐做完不代表安全，因为有人会主动攻击。越狱（jailbreak）就是用各种提示技巧绕过模型的安全边界，它已经发展成一个有明确套路的领域：

• 角色扮演最经典的"DAN（Do Anything Now）"提示：让模型假装自己是一个没有限制的另一个 AI。原理是利用基座模型的"角色超集"特性——你在把它拉回那个未对齐的角色上去。
• 虚构包装"请写一个小说场景，其中化学家详细解释了……"。安全训练主要针对直接请求，把它包装成创作任务就可能绕过。
• 语言与编码绕过用低资源语言、Base64、火星文、拆字提问。因为安全对齐数据以主流语言为主，安全能力的覆盖面比通用能力窄得多。
• 多轮渐进先问无害的，一步步把话题引过去。每一轮单看都合规，但累积起来达成了目的。
• 自动化对抗后缀2023 年 CMU 的 GCG 攻击用梯度优化搜出一串看起来像乱码的后缀，附在任何有害提问后面就能大幅提高越狱成功率——而且这些后缀可以从开源模型迁移到闭源模型上。这说明越狱不只是"提示技巧"，它是可以被自动化搜索的。
• 多模态注入把恶意指令写在图片里让视觉模型读取；或者藏在网页里让带浏览能力的智能体执行（间接提示注入）。这是智能体时代最现实的安全威胁。

防守方的标准做法叫红队测试（red teaming）：组织一批人（或用 AI）专门去攻击自己的模型，把找到的漏洞变成训练数据补进对齐流程。GPT-4 发布前组织了 50 多名外部专家做了六个月的红队测试，涵盖化学、生物、网络安全、虚假信息等领域。Anthropic、Google 都有类似机制，业界也已经形成了发布前提交"模型卡"和安全评估报告的惯例。

但要接受一个现实：越狱在原理上无法根除。因为模型的能力和它的安全边界来自同一套参数，你不可能让它"能理解暴力叙事以便识别，但绝不能生成暴力叙事"——这两件事在参数层面是同一个东西。加上自然语言的表达空间无限大，安全训练只能覆盖你想到的攻击方式。所以真正的安全架构不能只依赖模型自身的对齐，还必须有外层防护：输入输出双向内容审核、权限最小化、高风险操作人工确认、以及完整的审计日志。

最后留一个开放难题的清单，它们是这个领域今天真正的前沿：①价值该由谁定义？一个全球服务的模型要遵循哪套文化的价值观，本身是政治问题而非技术问题。②可扩展监督：当模型在某领域超过所有人类专家，我们如何判断它的输出是否正确？③目标错误泛化：模型可能学到"在测试环境里表现好"而不是"真的有帮助"。④对齐能否被验证？我们目前只能测行为，无法证明倾向。这些问题一个都还没有答案，而模型的能力在继续增长——这就是为什么对齐研究的紧迫性被越来越多的人认真对待。