科技 Bestblogs · Chester Lam, Aurora Nockert · 07-14 09:23 · AI 生成
x86 准备好迎接 ACE 了吗? 本文深入解析了 Intel 的 ACE 加速器规范,它是 AMX 指令集的扩展,引入了一种通过外积操作的加速器,并采用固定的 64 字节 x 16 行瓦片配置。文章详细对比了 ACE 与 ARM SME 在数据类型灵活性、量化支持、块缩放等方面的差异,并探讨了这些设计对未来 AI 工作负载的影响。适合对 CPU 微架构、AI 加速器设计有较深了解的读者,用以理解 x86 路线图中一个重要的技术演进方向。原文 ↗ 原文 ↗
核心观点
▍ ACE 作为 AMX 的扩展,引入了一种外积加速器,其固定瓦片配置与 ARM SME 的向量长度无关设计形成了鲜明对比,代表了 x86 阵营在 AI 加速器设计上的一个关键选择。 01 ACE 采用固定的 64 字节 x 16 行瓦片,简化了编程模型,消除了为每个瓦片寄存器配置的需求,这与 ARM SME 灵活的向量长度设计完全不同。 02 ACE 通过 VUNPACKB、VPERM 等指令提供了对 2-7 位输入的自定义量化支持,使其能够处理非标的数值格式,为未来AI模型的量化方案提供了灵活性。 03 ACE 引入了块缩放寄存器 BSR0,在外积计算期间应用分组缩放因子,以扩展 FP8 等低精度格式的动态范围,缓解了量化带来的精度损失。 04 文章指出,ACE 的平铺策略通过将累加器保留在寄存器中来减少内存流量,每次乘累加操作的加载次数减少,从而提高了整体吞吐量。 05 ACE 支持复数运算,这对于处理信号处理、FFT 等并非深度学习的传统HPC工作负载是有利的。 反方 / 局限
— ACE 的固定瓦片大小虽简化了设计,但也牺牲了灵活性,对于某些非规整的矩阵尺寸或特定的工作负载,可能不如 ARM SME 的向量长度无关设计高效。 — 文章主要从 ISA 和微架构角度分析,没有讨论实际硬件实现中的功耗、面积成本以及编译器生态的适配难度,这些都是影响 ACE 能否成功落地的关键因素。
前置背景 x86 矩阵加速的过往与现在
ACE 不是 x86 第一次碰矩阵加速。Intel 从 Sapphire Rapids 起内置 AMX(高级矩阵扩展),通过 8 个 2D 瓦片寄存器和内积指令(TMUL)给 CPU 加上了矩阵乘加能力,峰值吞吐量是 AVX-512 的 4 倍以上,但编程模型复杂——tile 配置需显式指定,且数据布局不对会导致 L1 缓存缺失率飙升。AMD 则在 AVX10 向量架构上持续演进。ACE 的诞生,本质是两大巨头为统一 x86 的 AI 加速指令集而采取的折中与升级方案。
▸ 3 条关联资料
▼
技术原理 块缩放:FP8 动态范围的解药
ACE 通过块缩放寄存器 BSR0 在外积计算期间对分组缩放因子进行管理,把 FP8 的有限动态范围拉升到接近 FP16 的水平。FP8 只有 8 位——E4M3 格式最大能表示 448,E5M2 最大 57344,对于大模型权重中动辄百倍波动的数值区间,全局缩放远不够用。ACE 的做法是让每组 64 字节数据附带独立的缩放因子,反量化在计算流水线中原地完成,这比 ARM SME 的类似机制在寄存器布局上更紧凑,但代价是面向前者编写的优化代码无法直接迁移到后者的生态。
▸ 1 条关联资料
▼
平行视角 ARM SME 的矩阵加速棋局
Intel/AMD 亮出 ACE 的同一天,ARM 正通过 SME2 把 CPU 矩阵加速推向一个新高度。SME2 支持 FP8、INT4 等更小数据类型,并引入查找表(LUT)指令处理自定义量化,实测在 Google Gemma 3 上 AI 性能提升 4.7 倍。ARM 的杀手锏是向量长度无关(VLA)设计——同一份二进制代码能在 128 位到 2048 位不同实现上高效运行,而 ACE 目前固定了 64 字节 x 16 行的瓦片配置。x86 阵营选择固定尺寸以简化编程模型,ARM 则押注可伸缩性,两种路线将在 AI 推理和边缘场景正面交锋。
▸ 3 条关联资料
▼
未来推演 CPU 做 AI 的拐点在哪
ACE 让 x86 在矩阵运算密度上比 AVX10 提升 16 倍,但决定它能否真正替代 GPU/NPU 的变量不在指令集本身,而在两个不可控因素:一是 PyTorch/TensorFlow 等框架能否在 2027 年前完成对 ACE 算子的一体化适配,而不是让开发者手写汇编;二是 Intel 和 AMD 各自的产品落地节奏——Granite Rapids 和后续的 Diamond Rapids 谁先支持 ACE,以及两者在功耗/面积上的实际取舍。如果推理工作负载中 70B 以下量化模型占比持续上升,CPU 端 ACE 的低延迟优势(零 PCIe 拷贝)可能让 GPU 的小 batch 推理场景失守。
▸ 3 条关联资料
▼
延伸追问 外积 vs 内积:谁更适合 AI 推理
ACE 选择外积作为新加速器原语,而不是 AMX 已有的内积(TMUL)路线。外积生成秩 1 矩阵,在 SVD、FFT 和部分注意力机制中天然匹配;内积则更适合标准全连接层和卷积。但当前大模型推理中占主导的 GEMM 核心,内积实现可以通过更高效的累加器复用减少内存访问。ACE 的外积设计能否在主流 LLM 推理中跑赢 AMX 内积,取决于两个关键点:编译器能否把 GEMM 自动拆解为外积序列,以及外积的 64 字节 x 16 行固定瓦片是否会成为小矩阵计算的瓶颈。
▸ 1 条关联资料
▼