7.5
深览指数
科技Bestblogs·Hacker News··AI 生成
GitHub - JustVugg/colibri: 在 25GB-RAM 消费者机器上运行 GLM-5.2 (744B MoE) — 纯 C， 0 依赖， 专家从磁盘流式读取。小巧引擎， 巨型模型。 🐦
该项目展示了一个纯 C 语言实现的推理引擎，能够在仅约 25GB RAM 的消费级 PC 上运行 744B 参数的 GLM-5.2 MoE 模型。其核心创新在于将模型分为常驻内存的密集部分（约 17B 参数，int4 量化）和从磁盘按需流式读取的 21,504 个专家（约 370GB），并辅以 LRU 缓存和异步预取。虽然冷启动推理速度极慢（约 0.05-0.1 token/s），但通过更快的 NVMe 硬盘和更大 RAM 可提升至数 token/s，验证了用时间换空间、在普通硬件上运行前沿模型的可行性。适合对 LLM 推理优化、模型量化、MoE 架构有技术兴趣的读者。原文 ↗
核心观点
- ▍该引擎的核心设计是将 744B 参数的 GLM-5.2 MoE 模型拆解为常驻内存的密集部分（约 17B 参数，int4 量化后约 9.9GB）和从磁盘流式读取的 21,504 个专家（约 370GB），使得在约 25GB RAM 的消费级硬件上运行成为可能。
- 01引擎使用 LRU 缓存和可选的热存储来管理专家，AMP 通过异步预取和 DDR2 排队来隐藏磁盘 I/O 延迟。
- 02它忠实复现了 GLM-5.2 的前向传播，包括 MLA 注意力、压缩 KV-cache、基于 DeepSeek-V3 风格的 sigmoid 路由器，以及原生多 token 预测推断解码。
- 03在开发者的 WSL2 环境中，冷启动吞吐量约为 0.05–0.1 token/s；在更快的 PCIe4 NVMe（约 3–5GB/s）上达到约 0.5–1 token/s；在双 NVMe RAID0（约 8–12GB/s）和 64GB RAM 下可达约 2–4 token/s。
- 04社区提供的 Apple M5 Max 数据点显示，在约 23% 的专家命中率下可实现约 1.06 token/s，验证了性能扩展趋势。
- 05整个仓库包括离线 FP8→int4 转换器、RAM 安全自适应尺寸和字节级 BPE 分词器，全部采用纯 C 编写，零运行时依赖，仅需 C 编译器和 OpenMP 即可构建。
反方 / 局限
- — 开发者明确承认此引擎“并不快速”，冷启动速度极慢，且性能受限于磁盘带宽和 RAM 大小，不适合对延迟敏感的应用场景。
5 分钟 · 4 卡片 · 7 资料
读原文 →