7.5
深览指数
科技Bestblogs·d-ramdass··AI 生成
自饮香槟，第 5 部分：把一个自托管编程模型从试点扩展到团队需要什么？
Upbound 把自托管编程模型 GLM-5.3 从 10 人试点扩到 15 人，用回放 AgentX 轨迹的 CI 测试装置评估七种服务方案。结论是 2 节点配 vLLM 撑不住 15 并发会话，4 节点配 SGLang 成本相当且容量够用。文中还提到一个反直觉发现：轻量用户因子智能体调用多，并发负载反而可能高于重度用户。适合正在自建推理服务的工程团队参考。原文 ↗
核心观点
- ▍自托管编程模型从 10 人试点扩到 15 人团队，需要从 2 节点 vLLM 切到 4 节点 SGLang，后者在成本相当的情况下提供足够容量。
- 012 节点无论怎么调优都撑不住 15 人团队的并发会话，4 节点运行 SGLang 可以，成本约等于今天为每位工程师支付的费用。
- 02对 AgentX 轨迹的回放分析显示，轻量用户（短提示词）往往有大量子智能体调用，保持了更多在途请求，并发负载可能高于重度用户的长提示词。
- 03测试装置在 CI 中运行，回放公开 AgentX 轨迹，为 TTFT、交互性和错误率预设阈值，并选择成本最低的通过方案。
- 04分层的单元、排练、冒烟测试在低成本阶段淘汰了两种方案，避免了昂贵的完整 GPU 运行。
- 05服务决策依据网关和引擎的 OpenTelemetry 信号，而非智能体框架日志，以确保运维可见性不依赖可能无法访问的日志。
- 06方案 2 的 128K 上下文看起来最快，只是因为它拒绝了长对话并丢失了这些轮次。
- 07预填充与解码分离的架构在这些节点上不可行，因为每个请求都要等待通过普通 TCP 将 KV 缓存移动到解码引擎，而该操作需要 RDMA 或接近 RDMA 的能力。
反方 / 局限
- — 4 节点 SGLang 的结论基于回放公开轨迹的合成测试，真实团队的使用模式可能偏离轨迹分布，容量余量未必如测试所显示的那样充足。
- — 文章只覆盖 GLM-5.3 一个模型，结论能否迁移到其他模型或更大参数规模未做验证。
4 分钟 · 5 卡片 · 9 资料
读原文 →