7.6
深览指数
科技阮一峰··AI 生成
科技爱好者周刊（第 404 期）：你需要知道的 AI 内存知识
本文以RTX 5090独立显卡与AMD Strix Halo板载芯片组迷你PC的对比为切入点，深入剖析了本地运行AI模型时，内存容量与内存带宽这两个关键瓶颈。文章的核心结论是：当前没有完美的本地AI硬件方案，RTX 5090虽然算力极高但32GB显存捉襟见肘，而板载统一内存方案容量大但带宽低，导致Token生成速度极慢。作者还讨论了MoE模型架构如何缓解后者的带宽瓶颈，并指出了提示词处理速度慢是迷你PC的另一个短板。对于正在选购本地AI硬件或关注大模型硬件门槛的深度读者，本文提供了清晰、具体的决策框架。原文 ↗
核心观点
- ▍当前没有完美的本地运行大模型的硬件方案，RTX 5090算力强但显存不足，板载统一内存方案容量大但带宽低，各有重大缺陷。
- ▍对于本地AI模型，内存容量和内存带宽是两大瓶颈，玩家需要根据模型类型（特别是MoE模型）和自身对Token生成速度的容忍度来权衡选择。
- 01RTX 5090算力（FP32）为104.8 TFLOPS，是AMD Ryzen AI Max+ 395（14.8 TFLOPS）的7倍。
- 02一个70B参数、4位精度的模型需要约32.6GB显存，超出了RTX 5090的32GB显存，无法运行。
- 03AMD Strix Halo板载内存为128GB，可以运行70B模型，但内存带宽仅256GB/s，理论每秒仅能生成6个Token。
- 04RTX 5090显存带宽为1792GB/s，苹果M3 Ultra芯片带宽为819GB/s。
- 05MoE模型如Qwen3-30B-A3B，每次只激活部分参数，计算时仅需读取2GB数据，在AMD迷你PC上理论上可达到每秒100多个Token。
- 06AMD迷你PC使用70B模型时，处理4000个token的提示词需要约40秒。
反方 / 局限
- — 作者暗示，即使采用MoE模型，统一内存方案的Token生成速度（理论值）也未必能达到理想体验，实际表现可能更差。
- — 文章未讨论量化模型（如4-bit）对模型质量的影响，以及除了英伟达和AMD外，其他厂商（如Intel、高通）方案的具体表现和生态差异。
23 分钟 · 4 卡片 · 10 资料
读原文 →