7.7
深览指数
科技Bestblogs·跨国串门儿计划··AI 生成
Modal CTO：你的 AI 应用不该跑在 K8s 上，Agent 时代的云应该长什么样
Modal 的 CTO Akshat Bubna 在访谈中提出，Kubernetes 等传统云架构是为常驻型 Web 服务设计的，无法满足 AI 工作负载的突发性与去中心化需求。他认为，AI Agent 与开发者体验的本质一致，即简化意图表达。Modal 的方案是构建“自供应运行时”，让用户通过代码装饰器声明需求，由平台自动处理底层资源，从而实现弹性推理和 2-4 倍的推测解码加速。该平台在 17 家云厂商之上构建“超级云”，以软件为核心为用户提供统一可靠计算资源。本文适合关注 AI 基础设施、云原生架构及其演进的工程师和技术决策者阅读。原文 ↗
核心观点
- ▍Kubernetes 从根本上不适合突发性、去中心化的 AI 工作负载，需要为 AI 重新设计云架构。
- ▍Agent 体验与开发者体验本质一致：让使用者（人或 AI）用最简单的方式表达意图，而非陷入 YAML 配置文件。
- 01Modal 认为 Kubernetes 是为慢速扩缩容和常驻型 Web 服务设计的，而 AI 推理和训练负载需要快速伸缩和专门化的运行环境。
- 02Modal 的方案是“自供应运行时”，用户通过代码中的装饰器（如 `@app.function(gpu="A100")`）声明需求，平台自动分配和回收资源。
- 03推测解码（Speculative Decoding）技术 DFlash 通过提高草稿模型 Token 的“接受长度”，可带来 2-4 倍推理加速，且不牺牲模型质量。
- 04为了 Agent 安全，沙箱不能仅依赖 LLM 来中介权限，必须保留操作系统级别的硬边界作为安全底线。
- 05Modal 在 17 家云厂商之上构建“超级云”，通过软件层提供统一的可靠性抽象，用户无需关心底层硬件运营商。
反方 / 局限
- — Modal 专注于为“打造产品的公司”提供平台，而非成为模型 API 供应商，这限制了其直接服务终端模型用户的路径。
4 分钟 · 3 卡片 · 7 资料
读原文 →