8.4
深览指数
科技Bestblogs·Google for Developers··AI 生成
系统工程手册：在 Ironwood (TPU7x) 上优化 Qwen 3.5-397B MoE
Google 系统工程团队在一篇详细的技术报告中，记录了为在 Ironwood TPU v7x 上高效运行 397B 参数的 MoE 模型 Qwen 3.5 所进行的系统优化。核心创新在于采用了一种模块化、模型无关的优化策略，将模型分解为可复用构建块，并辅以硬件感知成本模型，以实现向新架构的快速迁移。文章重点介绍了针对该模型特殊架构（如分数 KV 头）设计的混合分片方案、将路由元数据集合延迟减半的通信融合技术，以及利用芯片内共享内存的分层 Reduce-Scatter 方法。最终，这些优化在 2026 年实现了约 3.1 倍解码和 4.7 倍预填充吞吐量提升，对于从事大模型推理系统、分布式计算或硬件协同设计的工程师极具参考价值。原文 ↗
核心观点
- ▍模块化、模型无关的优化策略是实现向新架构（如 Qwen 3.5 MoE）近乎零摩擦迁移的关键，避免了对每个模型进行孤立且低效的优化。
- 01该团队将模型分解为可复用的构建块（如批处理 RPA、分组 GEMM、SparseCore 反置换），并配备硬件感知成本模型，从而将优化重点从局部化转向平台级可扩展性。
- 02针对 Qwen 3.5 的分数 KV 头分片问题（标准 TP=8 强制每个设备处理 0.25 个头），团队设计了混合 Attention DP=8 + Expert Parallelism EP=8 方案，消除 KV 缓存重复，使并发请求从 200 提升到 512。
- 03通过将路由元数据中的专家索引（整数）和 topk 权重（浮点数）位转换为单个 32 位打包 blob，团队将朴素的 3 个 All-Gather 操作减少为 2 个，将路由元数据集合延迟减半。
- 04采用两阶段流水线分层 Reduce-Scatter：第一阶段利用芯片内快速共享内存传输（比 ICI 快 6 倍），第二阶段通过 ICI 链路上递归倍增超立方体进行，并辅以微批处理和 DMA/计算重叠隐藏通信延迟。
- 05屋顶线分析清晰区分了两种场景：预填充（8K tokens，64 批次）为计算密集型，受限于 MXU 利用率不足；解码（每个请求 1 个 token）为内存密集型，瓶颈在于 HBM 流传输、VPU 索引和 GDN 循环状态更新。
- 06针对 Qwen 3.5 的新颖组件（如 Gated DeltaNet 线性注意力）使用 JAX/Pallas 开发定制内核，并集成到 vLLM/SGLang 推理框架中。
- 07在 2026 年 4 月至 6 月间，实现了约 3.1 倍解码和约 4.7 倍预填充吞吐量提升，并达到了 512 并发请求的生产级并发能力。
反方 / 局限
- — 预填充阶段虽然计算密集，但由于 token 在 512 个专家间的分布不规则，导致 MXU（矩阵乘法单元）利用率不足，这是一个性能瓶颈。
- — 解码阶段的内存瓶颈源于每个 token 需要从 HBM 流传输约 400 GB 数据，其延迟受到 HBM 传输、VPU 寻址和 GDN 循环状态更新的综合影响。
Ironwood TPU v7xQwen 3.5-397B MoEGoogle for DevelopersGated DeltaNet分组查询注意力 (GQA)MoE (Mixture of Experts)All-GatherReduce-ScattervLLMSGLangJAXPallas
5 分钟 · 3 卡片 · 9 资料
读原文 →