科技少数派·Nnnobel··AI 生成
Apple「随航」的无感体验里，藏着多少流畅的秘密？
本文从技术底层拆解 Apple 随航（Sidecar）功能实现流畅无线投屏的核心机制：通过 HEVC 视频编码（帧内与帧间预测、I/P/B 帧）将 GPU 合成的桌面画面大幅压缩后通过点对点 Wi-Fi 传输到 iPad。文章对比了早期第三方方案（iDisplay、Duet Display 等）的延迟与卡顿根源，点明随航的优势在于系统级整合带来的软硬件协同编码效率。适合对媒体编码、系统架构感兴趣的读者阅读。原文 ↗原文 ↗
核心观点
- ▍Apple 随航的流畅体验主要源于系统级整合的 HEVC 硬件编码流水线，相比第三方方案在画面编码与传输效率上有代际优势。
- 01无线传输无法承载原始桌面数据（2388x1668@60Hz 约 1GB/s），必须通过视频编码压缩；HEVC 可将纯 UI 画面压缩约 99%，复杂画面压缩至原始体积约 2%。
- 02HEVC 通过 CTU 四叉树分块、帧内预测（利用当前帧已重建相邻像素进行 Planar/DC/角度预测）和帧间预测（运动估计与运动矢量，利用前后帧的相似性）大幅减少重复记录的像素信息。
- 03I 帧仅使用帧内预测（体积大）；P 帧单向参考已解码帧；B 帧双向参考前后帧——三者构成 GOP，使压缩率进一步提升。
- 04预测画面与原始帧的差异以残差形式记录，经变换、量化、熵编码后写入码流；解码端反向操作，先重建残差，再与预测画面相加得到重建画面。
- 05早期第三方方案（iDisplay、Air Display）使用 Wi-Fi 传输时延迟达到数秒；Duet Display 改用有线连接但仍需在 Mac 端创建虚拟显示器并完成编解码，老旧 Mac 存在光标延迟与伪影。
- 06WWDC26 发布的随航更新支持通过 iPad 触控屏直接操控 macOS，目前 Beta 版触控延迟几乎不可察觉。
反方 / 局限
- — 文章提到第三方方案在特定需求场景（如数位板应用 Astropad、硬件适配器 Luna Display）上仍有优势，暗示随航并非在所有场景下都最佳。
- — 触控交互目前本质上是系统将触摸转译为鼠标操作，尚未针对触控进行原生应用适配，实际使用中可能不如键鼠高效。
24 分钟 · 4 卡片 · 11 资料
读原文 →前置背景
平行视角
未来推演
延伸追问