7.9
深览指数
科技Bestblogs·青稞AI··AI 生成
别再让计算等着搬权重了！KTransformers 让 CPU 直接参与 MoE 微调计算
清华 MADSys 与趋境科技、LlamaFactory 团队提出 KTransformers-FineTune，颠覆传统卸载范式：MoE 专家权重常驻 CPU 主存，由 CPU 利用 AVX-512/AMX 直接完成前向/反向矩阵乘，GPU 只算 Attention，避免 PCIe 搬运成为瓶颈。配合语义感知布局引擎与动态线程调度器消除布局转换和负载不均开销，在 DeepSeek-V3.1-671B 等三个千亿 MoE 上取得 2.5–21.2 倍于 ZeRO-Offload 的 LoRA 吞吐。还提出 LoRA Expert 系统-算法协同设计，缓解冷门专家更新不足。适合关注大模型训练系统优化的工程读者。原文 ↗
核心观点
- ▍KT-FT 提出 CPU/GPU 协同计算范式，让 CPU 直接在主存上完成 MoE 专家的前向/反向计算，GPU 只负责 Attention，从而彻底避免专家权重的 PCIe 搬运。
- ▍仅改变执行位置不够，必须同时消除布局转换和线程同步开销，否则 PyTorch (OneDNN) 直译实现甚至比卸载方案更慢。
- 01ZeRO-Offload 单步 94% 时间花在通信同步上，APTMoE 仍占 86%；理论上传输 1B BF16 参数需 62.5ms，而 RTX 5090 计算仅 2.8ms，传输是计算的 22 倍。
- 02相同分工下，PyTorch 仅达 12.1 tokens/s，KT-FT 达到 166.8 tokens/s，说明系统优化对落地收益至关重要。
- 03在 DeepSeek-V3.1-671B、Qwen3.5-397B、Qwen3-235B-2507 三款千亿 MoE 上，单卡/多卡、Intel AMX/AMD AVX-512 平台均验证 KT-FT 的 LoRA 微调吞吐是卸载基线的 2.5–21.2 倍，短序列优势最大。
- 04语义感知主动布局引擎按张量用途预分配最优内存布局，后台线程跨层原地转换并与 GPU 计算重叠，仅保留一份参数副本；动态线程调度器将专家工作拆成细粒度任务，用工作窃取平衡热/冷专家负载。
- 05LoRA Expert (LE) 在每层 MoE 增设常驻 GPU 的共享 LoRA 适配路径，由所有 token 共同训练，缓解路由倾斜导致的冷门专家更新不足，Time-to-Quality 指标验证其比单纯扩大原有适配路径或动态迁移专家更有效。
- 06KT-FT 已集成至 LlamaFactory，提供一键微调部署，并在企业适配、模型研发、高校实验三大场景落地。
反方 / 局限
- — 文章承认协同计算的前提是 CPU 专家计算耗时与布局、同步开销之和必须低于原先的权重传输时间，否则方案可能失去优势。
- — 当前验证依赖 Intel AMX 或 AMD AVX-512 等特定指令集，未讨论在缺乏这些加速指令的 CPU（如 ARM 平台或旧款 x86）上的普适性与性能衰减。
KTransformers-FineTuneMoE清华 MADSys 实验室趋境科技LlamaFactoryDeepSeek-V3.1-671BQwen3.5-397BQwen3-235B-2507ZeRO-OffloadAPTMoEAVX-512AMXPCIeLoRALoRA Expert (LE)
4 分钟 · 5 卡片 · 7 资料
读原文 →