K3官方权重采用MXFP4格式，这是一种混合精度4比特量化方案。它将浮点权重从FP16压缩到4比特，使模型体积从约5.6TB降至1.6TB，压缩比达3.5x。MXFP4的关键在于量化感知训练——模型在训练阶段就学会了在低精度下保持精度，而非事后压缩。主流4-bit技术（GPTQ、AWQ、NF4）通常做到75%压缩率，且主要针对7B-70B模型；MXFP4在2.8万亿参数上的表现，代表了量化技术的新边界。

Ning团队用80张RTX 5090（总显存2.56TB，聚合带宽143TB/s）跑出20 token/s，超过32张H100方案（107TB/s）的聚合带宽。但H100拥有HBM3和NVLink高速互联，而5090集群仅靠25GbE以太网连接，多节点通信开销巨大。20 token/s只是首日未经优化的结果，团队此前将4090集群跑GLM-5.2从30提升到110 token/s，K3仍有提速空间。核心矛盾：消费级GPU在带宽和互联上落后，但性价比和可获性对个人开发者更友好。

AMD验证的最低配置是8张MI355X（每张288GB显存，总显存2.3TB），硬件成本约170-240万元，能让模型跑起来但远非商用。真正商业级API部署需要64张以上加速卡，硬件投入达1400-1900万元。更关键的是折旧成本——128卡以上规模时，硬件折旧占推理总成本的81%，电费仅10%。K3开源的不是算力，是模型权重；跑它的「油箱」HBM依然稀缺，台积电CoWoS封装产能已被预购一空，交付周期超50周。

Mac方案证明流式读取可以突破显存物理限制，但0.32 token/s的速度离可用差两个数量级。真正值得追问的是：①当NVMe SSD带宽达到14GB/s（当前消费级上限），能否支撑起10 token/s以上的流式推理？②MoE模型的稀疏激活特性（896专家只激活16个）是否天然适合流式——未激活的专家权重可以常驻硬盘，只流式加载激活部分？③如果硬盘带宽和内存带宽都跑满，成本会不会比HBM集群更便宜？这些问题的答案将决定万亿参数模型能否真正「飞入寻常百姓家」。