科技Bestblogs·Kyle Wiggers··AI 生成
从构建 Shippy 中学到的智能体构建经验
Ai2 Skylight 团队分享了构建海事 AI 智能体 Shippy 的工程经验，核心论点是：在高风险领域，AI 智能体的可靠性挑战远超模型本身，关键在于架构纪律和工程化。文章提出了灵魂/技能/配置三部分智能体模型，并介绍了通过确定性 CLI 工具、Kubernetes 沙箱隔离和基于工作流的评估框架来保证可靠性的具体方法。适合正在或计划构建生产级 AI 智能体系统的工程师阅读，能获得可直接参考的架构设计和评估思路。原文 ↗原文 ↗
核心观点
- ▍在高风险领域构建 AI 智能体，核心挑战是可靠性，而非模型本身，需要通过架构纪律而非微调来保证。
- 01Shippy 的设计将模型（可配置的 LLM）、技能（版本化的 Docker 镜像）和系统提示（可审计的边界规则）三部分分离，使得能力的迭代和约束的施加可以独立进行。
- 02早期原型让 Shippy 直接构建原始 API 调用，导致分页错误、几何错误和静默数据丢失；团队因此构建了 Skylight CLI，标准化输入、处理分页和认证，将结果写入磁盘，使 API 交互变得可预测。
- 03为实现数据隐私和隔离，团队构建了 Mothership 平台，为每个用户会话分配一个独立的 Kubernetes pod，并注入 JWT 凭证、提供临时文件存储和网络限制。
- 04评估框架基于 Harbor 构建，由领域专家编写标准，LLM 评委根据书面推理评分标准进行评分，加权聚合后确定通过/失败，这是针对整个智能体技术栈在实时数据上的评估。
- 05Shippy 在实践中暴露了三种失败模式：越界提出战术建议、简化几何体导致错过事件、以及发明不存在的 CLI 命令。
反方 / 局限
- — 文章未深入讨论基于规则的系统作为替代方案，也未比较不同沙箱隔离策略（如基于进程 vs 虚拟机）的成本与效果。
- — 评估框架依赖 LLM 作为评委，其自身可能引入偏见或一致性不足的问题，但文章未对此展开分析。
前置背景
应用场景
平行视角
未来推演
延伸追问