7.9
深览指数
科技微博·机器之心Pro··AI 生成
混合架构用线性注意力or滑窗注意力？复旦创智OpenMOSS团队：我全都要
复旦邱锡鹏团队在 376M 至 3B 规模上系统比较了滑窗注意力（SWA）与门控线性注意力（GLA/GDN）分别和全注意力混合的架构，提出「混合位置」视角——关键在于搭配无位置偏置的 NoPE。核心发现：SWA 混合长度外推强但扩长训练弱（跷跷板效应），线性混合反之，两者都没有免费午餐；通过增大窗口加 LongCE、推理时给线性注意力加滑窗约束（SWLA），可分别补齐短板。原文 ↗
核心观点
- ▍混合架构的关键不只是把多个注意力模块放进同一个模型，而是让带位置偏置的注意力与无位置偏置的 NoPE 形成互补的位置信息结构，从而超越单一注意力。
- ▍滑窗注意力与线性注意力作为高效分支各有所长且各有所短：SWA-NoPE 长度外推更好但扩长训练差，LA-NoPE 扩长训练更好但外推差，不存在全都要赢的单一方案。
- 01实验覆盖 376M、776M、1B、3B 四种规模，先 4k 短文预训练再 32k 长文续训，评测 PG19 PPL、LongPPL、RULER、BABILong、LongBench，并区分层混合（LH）与头混合（HH）。
- 024k 训练下 SWA-NoPE 外推表现突出；32k 续训后局面反转，GLA-NoPE 与 GDN-NoPE 反超，层混模型中尤其明显，作者称之为「滑窗混合扩长的跷跷板效应」。
- 03作者提出「短窗口疲惫与长窗口懒惰」：短文预训练阶段更小窗口利于长度外推，长文续训阶段更大窗口利于扩长训练；增大窗口并结合 LongCE 损失后，SWA-NoPE/RoPE 层混的扩长表现接近线性混合。
- 04作者认为 GLA/GDN 的门控虽不用 RoPE，但随距离累积会形成隐式位置偏置，训练长度之外发生分布漂移；据此提出 SWLA，在推理时对线性注意力施加滑窗约束，并对 NoPE 做对数校正，GLA-NoPE 在 RULER NIAH-SK1 上从 4k 外推到 64k，保持 100% 准确率。
- 05注意力特征分析显示 NoPE 注意力熵更大、检索命中率更高，偏向粗粒度全局聚合；RoPE/SWA/线性注意力则用位置偏置压制噪声，两者在熵-命中率散点图中的分布边界随混合比例涨落，被称为「潮汐效应」。
反方 / 局限
- — 作者明确限定研究范围：只覆盖文本预训练阶段的高效注意力与全注意力混合，后训练、多模态、稀疏注意力与压缩注意力混合均留待未来工作，结论不能直接外推到这些场景。
- — SWLA 与对数校正属于推理期干预，评测集中在 RULER NIAH-SK1 这类检索型长文任务，对需要真正长程推理而非检索的下游任务效果文中未充分展开。
- — 层混合与头混合两种方式的结论并不一致（跷跷板效应在层混中更明显），说明混合架构的收益高度依赖具体混合粒度与比例，尚无统一设计准则。
复旦大学上海创智学院OpenMOSS邱锡鹏柳潇然何子薇NoPERoPE滑窗注意力（SWA）门控线性注意力（GLA）GDN混合位置SWLALongCE 损失RULER 基准LongBenchBABILong
7 分钟 · 6 卡片 · 16 资料
读原文 →