5.8
深览指数
产品Bestblogs·Martha Janicki··AI 生成
LangSmith LLM Gateway：面向生产级智能体的运行时控制
LangChain 宣布 LangSmith LLM Gateway 公开测试版上线，这是一个集中式治理层，可在多个模型提供商之间为生产级 AI 智能体提供运行时控制。文章核心论点是，生产级智能体需要能够在违规发生前强制执行的策略，而非仅仅事后可观测性，以此应对提供商宕机、重试循环导致巨额账单等具体故障模式。文章详细介绍了 Gateway 的四个核心控制面：成本控制、速率限制、模型回退和 PII 脱敏，并强调了 BYOK（自带密钥）的优先设计。适合在技术选型或架构设计阶段，需要了解企业级 AI 基础设施治理方案的技术决策者阅读。原文 ↗
核心观点
- ▍生产级AI智能体需要运行时控制（如支出上限、速率限制、模型回退和PII脱敏），而非仅靠事后可观测性，因为后者无法阻止成本超支或提供商宕机导致的故障。
- 01文章指出，集中式治理可避免按智能体、按提供商的控制蔓延，团队只需定义一次策略，即可在模型层统一强制执行。
- 02Gateway在组织、工作区、API密钥和用户四个层级上提供支出上限和速率限制，并通过自定义请求头为多租户场景提供单客户策略，触发支出上限时返回HTTP 402。
- 03Gateway支持OpenAI、Anthropic、Fireworks以及兼容OpenAI/Anthropic协议的自定义端点，优先采用BYOK（自带密钥）模式。
- 04数据保护功能可对模型调用和LangSmith trace中的PII与密钥进行脱敏，目前仅向Enterprise套餐开放。
- 05文章引用了Blueberry AI和Friday Digital Agency的客户案例，说明Gateway简化了计费方式并提供了硬性支出上限。
反方 / 局限
- — PII脱敏功能仅限Enterprise套餐，意味着中小团队或预算有限的组织无法在基础版本中获得这一关键的数据保护能力。
LangSmith LLM GatewayLangChainOpenAIAnthropicFireworksBlueberry AIFriday Digital AgencyMartha JanickiBYOK（自带密钥）HTTP 402PII（个人可识别信息）
4 分钟 · 5 卡片 · 13 资料
读原文 →