文章的四维评估框架服务于SFT数据标注。SFT是整个大模型训练链条中承上启下的关键环节——基座模型在预训练阶段只学会文字接龙，SFT通过高质量「指令-回答」对教会模型听懂人话、按格式输出，之后才用RLHF做价值观对齐。SFT的loss计算和预训练一样都是下一个token预测，区别在于数据格式（引入special_token区分角色）和loss范围（只算回答部分）。理解这个定位，才能看懂为什么评估框架要按安全→指令遵循→内容→语言排序。

文章四维评估本质是人工打分，但RLHF中真正驱动模型优化的，是一个名为「奖励模型」的自动评分器。它的训练方式是对同一prompt下的多个回答做人工排序，然后用Pairwise Loss让模型学会预测偏好——输出一个标量分数。这个分数再喂给PPO算法，限制策略更新步长，让模型在「更讨人喜欢」的方向上稳定迭代。有趣的是，奖励模型的评估维度和文章框架高度呼应：无害性、有用性、事实真实性、语言流畅度，权重也正好是无害>有用>真实>流畅。

业内一直有争议：SFT到底是在「记忆」还是在「泛化」？上海AI Lab等机构最新研究发现，SFT泛化能力被低估，它受优化程度、数据质量、模型基础能力三重制约——充分训练后模型甚至能跨领域泛化。但另一阵营认为SFT只是让模型模仿表面模式，无法理解「什么回答更好」的标准。美团RL后训练面试题直言：SFT存在「模仿偏差」，RLHF通过奖励模型让模型在生成空间里探索优化，才是对齐人类偏好的关键。两边各有实证支撑，核心是你更相信数据量的堆积还是反馈信号的引导。

文章强调标注员需逐维判断安全红线、指令遵循等，但Meta的PDO框架已做到完全无标签的提示优化，Refuel的Autolabel宣称AI标注成本仅为人工1/7、准确率88.4%。RAGAs等自动化评估框架也能量化忠实度、召回率。真正值得问的不是「AI能否替代人」，而是「替代到了什么粒度」——安全红线这类一票否决的判断，AI的误判代价可能远高于人工；而语言表达这类低优先级维度，自动工具已经足够可靠。你会在哪个维度上放心把判断权交给AI？