5.9
深览指数
科技Bestblogs·Ping Yu, Marko Ristić, Matthew Soulanille, Chintan Parikh··AI 生成
LiteRT.js：Google 高性能 Web AI 推理
Google 发布 LiteRT.js，这是 LiteRT 的 JavaScript 绑定，通过 WebAssembly 将原生设备端推理库引入浏览器。相比现有 Web 运行时，其硬件加速（CPU 的 XNNPACK、GPU 的 WebGPU、NPU 的 WebNN）可带来最高 3 倍的速度提升，实时任务上 GPU/NPU 比 CPU 快 5-60 倍。这是一篇面向 Web 开发者、意图明确的技术产品发布通告，信息密度高但缺乏对局限性的探讨。适合关注浏览器端 AI 推理落地的开发者阅读。原文 ↗
核心观点
- ▍LiteRT.js 通过 WebAssembly 将 Google 原生设备端推理运行时引入浏览器，使 Web 开发者能以最大性能完全在客户端运行 ML/AI 模型。
- 01该方案利用 LiteRT 的硬件加速后端：CPU 通过 XNNPACK 支持多线程和松弛 SIMD；GPU 通过 ML Drift 调用 WebGPU；NPU 通过实验性 WebNN 实现节能低延迟推理。
- 02基准测试显示，在经典计算机视觉和音频模型上，LiteRT.js 相比其他 Web 运行时实现最高 3 倍的速度提升。
- 03在实时任务上，通过 WebGPU 或 WebNN 的 GPU/NPU 执行相比标准 CPU 执行可实现 5-60 倍的速度提升。
- 04通过 LiteRT Torch，开发者可用一条命令将 PyTorch 模型转换为 .tflite 格式，并立即利用硬件加速。
- 05AI Edge Quantizer 支持逐层量化，可显著缩减模型体积并提升性能。
- 06LiteRT.js 是 TensorFlow.js 的演进版本，专门用于执行 .tflite 模型，并已与 Ultralytics YOLO 官方集成，提供目标检测、深度估计、超分辨率等生产就绪演示。
反方 / 局限
- — 文章未提及 WebNN 的浏览器兼容性现状（仅在 Chrome/Edge 中为实验性功能），以及 WebGPU 在不同设备上的实际驱动支持情况，这些是 Web 开发者面临的关键落地障碍。
LiteRT.jsLiteRTWebAssemblyXNNPACKML DriftWebNNWebGPUTensorFlow.jsLiteRT TorchAI Edge QuantizerUltralytics YOLOPing YuMarko RistićMatthew SoulanilleChintan ParikhGoogle Developers Blog
5 分钟 · 3 卡片 · 7 资料
读原文 →