7.3
深览指数
科技Bestblogs·Yara Rizk, Eyal Shnarch, Jason Tsay, Merve Unuvar··AI 生成
模型路由看似简单，实则不然。
文章挑战了“模型路由是简单分类问题”的普遍认知，将其重构为涉及成本、延迟和基础设施的系统优化问题。作者通过三个关键维度（成本、复杂性、延迟）揭示了直觉的失效，指出成本取决于缓存命中而非标价，复杂性受执行轨迹与治理约束主导，延迟则被路由粒度和基础设施状态决定。文章提出基于优化的路由方法，在AppWorld测试中展示了优于传统基于难度路由的显著效果，适用于对AI智能体系统做架构决策的技术读者。原文 ↗
核心观点
- ▍模型路由不是简单的分类问题，而是一个涉及成本、质量和延迟的系统优化问题，目标不是为任务找“最佳”模型，而是为整个系统找最佳操作点。
- 01成本不仅取决于模型定价，还取决于缓存行为：高缓存命中率可大幅降低有效输入成本，使缓存定价更优的模型（即使基础标价更高）反而更具优势。
- 02复杂性不仅由任务难度决定，执行轨迹和治理约束（如合规性、可靠性）同样重要。一个简单提示词可能触发复杂执行步骤，而技术性提示词反可能被小模型高效处理。
- 03延迟主要由基础设施状态和路由粒度主导，而非模型理论速度。路由开销和硬件条件常常超过模型速度差异，且每一步都路由会大幅增加操作复杂性。
- 04作者提出的基于优化的路由方法，在AppWorld Test Challenge上相比基于难度的标准路由，在成本-质量-延迟平衡上取得了显著改进。
反方 / 局限
- — 文章未提及基于优化的路由方法在高动态或冷启动场景下的适用性，也未讨论路由决策本身带来的额外系统复杂度是否会抵消部分收益。
3 分钟 · 3 卡片 · 4 资料
读原文 →