5.4
深览指数
科技量子位··AI 生成
清华系团队发布国产Token优化工厂：兼容10余种国产芯片，日吞吐千亿Token
在WAIC 2026上，是石科技发布了国产Token优化工厂「拓元（Vectron）」，旨在解决中国智算中心算力利用效率低下的问题。文章指出，算力产业竞争正从规模竞赛转向效率竞赛，拓元通过KV Cache压缩、Token压缩、长上下文优化等技术，试图将异构国产芯片的算力「榨」到极致，实现千亿级日吞吐量。对关注国产AI基础设施、算力效率与商业化落地的读者，提供了具体的产品方案与技术路径介绍。原文 ↗
核心观点
- ▍中国AI基础设施的竞争正从「算力规模竞赛」转向「算力效率竞赛」，核心在于将芯片、互联、内存、散热、调度与软件栈整合为稳定可用的大规模系统。
- 01中国已建设50多个智算中心，智能算力总规模超过1000 EFLOPS，但平均利用效率仍有巨大提升空间，算力浪费现象普遍。
- 02「十五五」期间中国算力产业总投资预计达到7万亿元，若效率提升十到二十个百分点，可释放万亿级算力价值空间。
- 03是石科技发布的拓元（Vectron）兼容昇腾、昆仑芯、天数智芯、太初、瀚博半导体、摩尔线程、沐曦、燧原等10余种国产芯片，适配20余个主流模型，日Token吞吐量达千亿级别。
- 04拓元技术包括：结果感知驱动KV Cache压缩技术，以降低长文本显存压力；基于模态自适应的免训练Token压缩方法，实现全模态推理的信息筛选。
- 05拓元通过混合位置索引合成的长上下文偏好训练方法及记忆引导的重读机制，在远小于同类方法的训练数据量下实现长上下文处理效果提升。
- 06拓元提出「基于元奖励的可扩展奖励建模方法」，使AI系统能持续自我优化，减少人工反馈，降低企业落地成本。
- 07是石科技成立于2021年，创始团队源自清华大学计算机系，已服务超过200家重点客户，覆盖互联网、大模型、航空航天、生物制药、新能源等行业。
反方 / 局限
- — 文章未提及任何竞争对手或同类产品的性能对比数据，也未说明拓元相比现有方案（如NVIDIA的TensorRT-LLM或vLLM）的具体效率提升倍数，缺乏量化基准。
- — 文章未讨论异构芯片（如昇腾与昆仑芯）在底层指令集、算子支持上的巨大差异，以及统一调度时可能面临的兼容性成本和性能损耗问题。
8 分钟 · 4 卡片 · 11 资料
读原文 →