7.1
深览指数
科技Bestblogs·Engineering at Meta··AI 生成
将机会性AI推理能力转化为更好的广告推荐
Meta 工程团队撰文，揭示了 AI 推理集群中的「能力悖论」：全球算力受限但局部时刻存在空闲资源。他们设计了一套弹性系统，通过两个杠杆——「排序更多广告」和「提供更优模型」——将这些原本闲置的算力碎片汇集成共享池，在不影响基础服务的前提下，提升了广告推荐的候选数量与模型质量。文章精炼地介绍了该系统的隔离策略与反馈控制机制，适合关注大规模推荐系统架构与 AI 基础设施优化的工程师阅读。原文 ↗
核心观点
- ▍Meta 通过设计一套利用空闲推理能力的弹性系统，解决了 AI 推理集群「全球受限、局部空闲」的悖论，在无需额外采购硬件的情况下提升了广告推荐效果。
- 01「推理能力悖论」的成因：由于需求、地域和硬件型号之间的不匹配，推理集群在全球范围内算力受限，但在特定区域或特定加速器上仍存在大量空闲容量。
- 02系统包含两个主要杠杆：「排序更多广告」通过增加后排序阶段评估的广告候选数量来提升推荐质量；「提供更优模型」则通过将部分请求路由到更复杂的模型来提升效果。
- 03为确保基础服务不受干扰，系统设计了双层隔离策略：对「提供更优模型」采用物理隔离（独立路由目标），对「排序更多广告」采用逻辑隔离（全局预算）。
- 04系统使用 PID 控制器和价值感知信号，根据服务尾延迟和可用容量实时调整广告候选数量和模型调度比例，形成反馈驱动的控制闭环。
反方 / 局限
- — 文章隐含的局限是，该系统的有效性高度依赖于 Meta 庞大的广告系统和硬件规模，小公司或单一集群场景下很难复现这种「汇集碎片空闲算力」的收益。
3 分钟 · 3 卡片 · 5 资料
读原文 →