7.8
深览指数
科技虎嗅·硅星人··AI 生成
创业3年、团队仅12人，这个硅谷公司把端侧AI 做进了高通
Nexa AI 是一家仅有 12 人的硅谷创业公司，通过自研的 NPU 优先推理优化软件，实现了新模型发布当天即可在终端芯片上部署（Day-0 Support），由此被高通收购。文章以对话实录形式，详细解释了端侧 AI 部署的痛点（NPU 软件生态缺失）、Nexa 的核心技术壁垒（硬件感知的软件设计）、以及其商业逻辑——端侧 AI 软件本身难以独立变现，最佳商业模式是深度绑定芯片厂商以促进芯片销售。适合关注端侧 AI 落地、AI 芯片生态、或小团队技术创业策略的读者。原文 ↗
核心观点
- ▍端侧AI 软件的最佳商业模式是深度绑定芯片厂商以促进芯片销售，而非独立变现，这是 Nexa AI 最终选择被高通收购的根本原因。
- ▍Nexa AI 的核心技术壁垒是“硬件感知的软件设计”，即对 NPU 硬件有深入理解，并从软件层面优先优化，从而在速度与模型质量上同时取得优势。
- 01Nexa AI 实现了新模型发布当天的“Day-0 Support”，而行业常规适配周期需要两到三个月，这直接吸引了高通高层的注意。
- 02Nexa SDK 在被收购前已形成开发者生态：GitHub 约 8,000 Star，曾获 GitHub Trending 第一和 Product Hunt 第一。
- 03端侧 AI 已大量用于非生成式场景，如智能手机拍照的二十多个小型 AI 模型、视频会议实时画面处理，用户日常难以感知。
- 04端侧 AI 的实时性优势在于省去网络传输延迟，但算力上限低于云端；因此 LLM 等计算密集型任务在本地不一定更快，适合简单、实时性高的任务。
- 05NPU 相比 GPU 更专用，去除了 AI 推理不需要的通用能力，优化了整数等常用数据类型，但软件生态不成熟，成为创业公司切入点。
反方 / 局限
- — Nexa 被收购后，其 SDK 不再支持高通以外的芯片平台，意味着产品从通用工具变为平台专属工具，限制了其独立生态的扩展。
- — 尽管端侧 AI 硬件每年迭代，但当前本地运行 20B 参数的模型作为 Agent 时，速度仍不如云端，端侧在复杂推理任务上尚未证明其替代性。
10 分钟 · 4 卡片 · 9 资料
读原文 →