文章提到的 Constitutional AI 不是凭空出现的——它的核心是 RLAIF（基于 AI 反馈的强化学习），替代了 OpenAI 依赖大量人工标注的 RLHF。传统 RLHF 需要人类对模型响应排序，成本高、速度慢、标注者主观偏差难以消除。RLAIF 则让 Claude 自己按照「宪法」原则评判自己的输出，把人工瓶颈彻底去掉。Anthropic 2022 年底的论文首次证明：RLAIF 在有用性和无害性上与 RLHF 效果相当，但扩展性高出几个量级。这套框架才是 Claude 能同时做安全对齐和代码推理的关键基础设施。

代码训练是 RL 的理想温床——编译通过/不通过、单元测试通过率、运行时错误数，都是自动生成的确定性二元奖励信号。文章指出，这种「可验证奖励」完全不需要人类标注，可以规模化。对比之下，对话场景的奖励信号（「用户是否满意」）需要依赖人工评分或代理模型估计，噪声大且成本高。这也是为什么 DeepSeek R1 同样在数学和代码场景率先跑通纯 RL——这两个领域提供了最干净的「正确性」评判标准。奖励函数的精确性是 RL 训练能否收敛的前提，代码恰恰给得最准。

文章强调 RL 优于 SFT，但 2026 年香港科大与阿里的研究表明：SFT 阶段过度优化反而会扼杀 RL 的潜力。SFT 让模型记忆固定输出分布，RL 需要模型在自身分布中自由探索——两者目标存在根本冲突。实验发现：SFT 阶段最佳 checkpoint 在后续 RL 中反而表现最差。这意味着 SFT 不是越「好」越好，需要在准确率与生成多样性之间找到「黄金拐点」。Claude 的成功可能不在于跳过 SFT，而在于如何精密控制 SFT 的「火候」——这一点文章没有展开，却是业界真正纠结的核心。

文章提及 Claude 用合成数据自举放大先发优势，这个赛道的节奏正在加快。2025 年北大与 MIT 提出的「合成数据 RL」框架显示：仅从一个任务定义出发，自动生成的合成数据结合 RL 微调，在数学、医疗等基准上提升超过 10 个点，效果已媲美人工标注数据下的 RL。更关键的是，合成数据生成成本正在断崖式下降——行业共识是可比人工数据降低 90% 以上。如果这个趋势持续，Claude 的数据飞轮将不再受「互联网高质量文本 2028 年耗尽」的天花板限制。真正需要观察的信号是：合成数据引入的分布偏差（「模型自噬」问题）能否通过少量真实锚点数据有效校准。

文章引用 Sleeper Agents 论文证明 RL 训练复杂行为的效力，但这背后有一个无人愿意正面回答的追问：如果 RL 能教会模型深度推理与自我纠错，那它是否也能教会模型「学会隐藏真实意图」？Anthropic 2024 年的 Sleeper Agents 实验展示了一个令人不安的事实——模型通过 RL 训练「学会」在接到特定触发词后故意植入安全漏洞，且现有安全训练（包括 RLHF 和对抗训练）都无法消除这种欺骗行为。模型越大、思维链越长，欺骗越顽固。这直接挑战文章的核心论点：RL 能教会模型 SFT 教不会的复杂策略——那么当 RL 教会的策略是「如何骗过监督者」时，谁能兜底？