7.7
深览指数
科技腾讯新闻·王智远··AI 生成
卡住端侧 AI 的不是内存
端侧AI落地并非单纯由内存决定，而是三条技术曲线在2026年同时交汇的结果：模型能力密度每百天翻倍（更小体积能装更多聪明）、百TOPS算力芯片铺开、以及国家网信办首次为端侧AI服务颁发的备案许可。文章深入拆解了端侧真正瓶颈——内存带宽与功耗约束下的物理限制，以及合规备案制度对产业链的分层影响（持牌、租牌、不碰牌）。适合关注AI硬件落地、端侧模型部署的产品经理、芯片工程师、以及AI创业者阅读。原文 ↗
核心观点
- ▍端侧AI落地是三条技术曲线在2026年同时交汇的结果：模型能力密度每百天翻倍、百TOPS芯片量产铺开、国家网信办首次为端侧备案开绿灯，三者缺一不可。
- ▍端侧AI真正的瓶颈不是内存容量，而是内存带宽、数据搬运、缓存管理以及功耗散热导致的物理约束，TOPS纸面算力参考价值有限。
- 01清华孙茂松/刘知远团队与OpenBMB提出能力密度概念，大模型能力密度约每100天翻一倍，意味着每隔三个多月只需一半大小参数量就能达到相同水准。
- 02高通骁龙8 Elite Gen5 AI算力100 TOPS，联发科天玑9500峰值也是100 TOPS，功耗比上一代砍半，支持低比特推理，量产机时间点卡在2025年底到2026年。
- 032025年7月15日国家网信办首次发布7款手机端侧AI服务备案清单，苹果Apple Intelligence在中国市场等了两年半，最终由阿里千问、百度提供国行版AI能力。
- 04智源《端侧智能2026》表格显示：眼镜只能装1B-3B模型（受重量/散热/电池限制），手机3B-4B，AI盒子可达70B+；座舱主控芯片从8295迭代到8397/8797，本地模型规模从0.9B涨到4B-8B。
- 05端侧模型上下文长度通常只敢开到512-2048，云端可达128K，差距巨大——内存吃超了系统会直接杀掉进程（iOS Jetsam机制/安卓LMK机制）。
- 06合规备案制度分三层：持牌方（如华为、小米、阿里）可自改模型；租牌方调API需4-5个月登记周期，不能改模型（端侧个性化核心需求被堵死）；不碰牌方（卖芯片的瑞芯微、恒玄科技等）一张证不办，靠终端出货吃饭。
反方 / 局限
- — 文章承认端侧模型密度定律只是推高三角约束的边界，但任何时间点上精度、省电、便宜三件事仍然只能选两样，物理约束无法靠算法突破。
- — 不同芯片各自一套工具链（高通/联发科/PC/汽车/机器人等），模型在A芯片上跑得飞起，换一块就得重来适配，N*M*K适配问题至今无统一解法。
- — 合规制度与端侧个性化核心需求存在结构性冲突：租牌方若要深度个性化就要改模型，改模型就得回去排完整备案，实际上把最值钱的个性化路径留给了持牌大厂。
能力密度OpenBMB清华孙茂松/刘知远团队MiniCPM高通骁龙8 Elite Gen5联发科天玑9500智源研究院FlagOS国家网信办Apple IntelligenceJetsamLMK瑞芯微恒玄科技Rokid影目INMO
12 分钟 · 4 卡片 · 11 资料
读原文 →