7.3
深览指数
科技智东西··AI 生成
面壁智能姚远：两年GPT-6级AI跑在手机上，现在点外卖订机票有点无聊
面壁智能披露 MiniCPM-V 4.7 35B-A3B 在手机上经前瞻专家调度（LES）优化后达到 30 Token/s、内存约 3GB，速度较常规方案提升约 5 倍。姚远提出「撞线」「等智能线」「智能密度」框架，预测两年内 GPT-6 级能力可落到手机端，并直言当前 AI 手机演示停留在点外卖订机票、行业想象力不足。适合关注端侧推理工程与 AI 手机路线的读者。原文 ↗
核心观点
- ▍姚远提出「等智能线」框架：以某代云端旗舰模型能力为标尺，观察达到同等能力所需参数规模随时间下降的曲线与端侧可承载规模曲线相交，交点即端侧智能的落地节点；他据此判断两年内 GPT-6 级能力可在手机以约 3GB 内存流畅运行。
- ▍端侧智能的推进依赖「三驾马车」——模型提供智能、硬件提供算力、Infra 让计算需求与硬件资源高效匹配；姚远强调 Infra 重要性上升不等于算法创新贬值，「模型做不到的事，再快一万倍也是输出 0」。
- 01MiniCPM-V 4.7 35B-A3B 总参 350 亿、每次推理仅激活约 30 亿参数，完整权重约 65.6GiB；在 iPhone 17 Pro Max 上常规专家读取仅约 3 Token/s，引入 LES 后升至约 13 Token/s，叠加新硬件到约 20 Token/s，最新优化突破 30 Token/s，内存占用维持约 3GB。
- 02LES 利用 Transformer 相邻层残差连接特性，在当前层计算时提前预测下一层所需专家并同步从闪存预读权重，把串行的「定专家—读权重—计算」并行化；每层 256 个候选专家激活 8 个时，预取 8 个命中率约 80%，扩到 16 个命中率约 96%，但读取开销随之上升。
- 03预测不改变模型最终路由与输出结果，只影响读取与计算顺序；面壁称在 iPad Pro M4 16GB 上 LES 使生成速度平均提升约 5 倍。
- 04视觉压缩路线从 MiniCPM-V 2.5 图像切分、到时空联合压缩最高 96 倍，4.7 引入 LLaVA-UHD v4 在编码器内部提前压缩再减约一半计算，提供 4 倍与 16 倍两档压缩模式；16 倍压缩下 MMBench、OCRBench 仍保持较高准确率。
- 05后训练侧提出自回放微调（Self-Replay Fine-Tuning），将原模型生成的通用任务回答与新任务数据混合，实验显示微调导致的灾难性遗忘减少 80% 至 99%，且无需改模型结构与损失函数、成本接近普通监督微调。
- 06姚远称内部测试中 Apple Intelligence 本地模型在约 10 项基准综合得分约 54 至 55 分，与 MiniCPM-V 4.7 1B 大致相近，而 35B-A3B 接近 90 分。
反方 / 局限
- — 蔡天驰坦言 MiniCPM-V 4.7 运行功耗接近大型手游、部分情况更高，全天候持续运行不现实；「降到接近听音乐水平」是目标而非已达成的结果。
- — 手机生态的权限与数据壁垒是 AI 手机另一硬约束，姚远以豆包手机遇到的应用权限限制为例，意味着模型能力提升本身不足以解锁跨应用智能体。
- — 「两年 GPT-6 上手机」是姚远自己承认尚未形成行业共识的激进判断，且演示主要基于旗舰机，千元机目前靠 1B 版本支撑，能力上限与普及面之间存在分层。
面壁智能姚远刘知远余天予蔡天驰MiniCPM-V 4.7前瞻专家调度 LES混合专家模型 MoE智能密度定律等智能线自回放微调RLPRApple IntelligenceiPhone 17 Pro Max
20 分钟 · 7 卡片 · 16 资料
读原文 →