7.0
深览指数
科技智东西·王 涵··AI 生成
OpenRouter周榜全球第二，这个国产模型终于开源了
阶跃星辰于2026年10月15日宣布开源其Step 5 Preview模型，该模型凭借稀疏MoE架构（600B总参/27B激活参/100万Token上下文）登顶OpenRouter全球使用量周榜第二。文章深入解读了该模型区别于常见万亿参数路线的技术设计：92层窄深架构、Sparse GQA稀疏注意力机制，以及针对FP8低精度训练的三层稳定性优化。适合希望了解前沿开源大模型架构细节与工程取舍的AI从业者阅读。原文 ↗
核心观点
- ▍Step 5 Preview的核心设计思路是以「92层窄深架构 + Sparse GQA注意力」在有限参数下实现与万亿级模型相当的长程任务能力，而非追求参数量或单点指标突破。
- 01模型总参数量600B、激活参数仅27B，支持100万Token上下文窗口，在Artificial Analysis Intelligence Index中取得44分，位居全球开源模型前三。
- 02截至2026年10月15日，Step 5 Preview在OpenRouter近七日Token用量约18.8万亿，位居周榜、日榜第二。
- 03根据Artificial Analysis评测，其单任务平均成本（0.71美元）仅为Claude Opus 5的1/8。
- 04在Agents Last Exam的ALE-CLI、金融投资研究评测FrontierFinance等基准测试上优于Kimi K3、GLM-5.3，仅次于GPT-6 Astra或Claude Opus 5。
- 05采用92层Transformer模块堆叠的窄深架构，层数与万亿参数模型相当，但总参数量不足其1/4，旨在为多跳推理提供更长信息传递路径。
- 06注意力层按3:1比例交错布置：3/4为Gated滑动窗口注意力层，1/4为稀疏全注意力层。
- 07在全注意力路径上采用Sparse GQA机制，通过将历史位置压缩为块、筛选结果取并集合并计算、确定每8个token为一组共筛选4096个token的配置，避免百万级token全量计算。
- 08为稳定FP8低精度训练，采取三项措施：隐藏状态转FP32、归一化缩放因子转FP32、对每层极稀疏（0.00004%）的梯度进行钳制。
- 09模型权重（BF16、FP8）已开源至HuggingFace和ModelScope，并已接入腾讯WorkBuddy开放免费试用。
反方 / 局限
- — 文章未主动讨论模型的局限性或反方观点，但从技术细节可推断：Sparse GQA的核心矛盾（筛选精度与计算量）、窄深架构的通用性能（尤其在短文本任务上）未与并行方案对比。
阶跃星辰Step 5 PreviewOpenRouterHuggingFaceModelScope稀疏MoESparse GQAGQAClaude Opus 5GPT-6 AstraKimi K3GLM-5.3Artificial Analysis腾讯WorkBuddyDeepSeekQwen 3.8 Max
11 分钟 · 3 卡片 · 9 资料
读原文 →