8.0
深览指数
科技Bestblogs·leerob··AI 生成
斯坦福 CS146S：常驻在线智能体的工作原理，从架构到上下文工程
SpaceX 工程师 Lee 在斯坦福讲座中系统阐释了「常驻智能体」的产品架构,其核心是将简单的工具调用循环扩展为持续运行在服务器上的持久化服务。文章详细介绍了基于 Firecracker 虚拟机的安全沙箱、Temporal 工作流引擎的容错机制,以及一套围绕提示词缓存、有损压缩和分层记忆的上下文工程纪律。适合对 AI Agent 生产级部署和系统设计感兴趣的开发者阅读。原文 ↗
核心观点
- ▍常驻智能体的本质是「模型在循环中调用工具」的简单 harness,但把它扩展成持续运行、状态持久化的产品级服务,需要云端专属计算机、持久化工作流和严格的上下文工程三大支柱。
- 01常驻智能体运行在服务器上,状态持久化到数据库,可被 Slack 消息、会议或例程触发唤醒。它拥有自己的云端 Firecracker Linux 虚拟机,包含桌面、文件和浏览器,合上笔记本进程也不会终止。
- 02架构采用瘦客户端胖服务器设计,跨客户端与服务器边界的工具只有一个 send_user,移动端、桌面端、邮件和 Slack 客户端可互换,并能渲染登录、支付与审批等富交互界面。
- 03基于 Temporal 的持久化工作流能在失败步骤处续跑而非从头重放;智能体按历史、插件、网络搜索、浏览器到完整桌面的升级阶梯,在打扰用户之前穷尽廉价自助途径。
- 04上下文工程的核心纪律包括:保持提示词静态以享受缓存折扣;用工具搜索工具只暴露工具名,将完整 schema 挡在上下文之外;所有压缩都有损,压缩操作需安排在热缓存窗口内完成。
- 05记忆系统分为三层:常驻事实(核心知识)、带日期的日志(事件记录)和临时便签(工作记忆),分别对应不同的持久化和压缩策略。
- 06模型进步的关键能力包括:长程指令遵循、子智能体交接(带着全新工作记忆)、computer use(在任意网站上操作),以及把知识编码成文件的记忆与技能。
反方 / 局限
- — 作者承认「所有压缩都是有损的」,这意味着在长时运行中,智能体的上下文窗口管理不可避免地会导致信息丢失,影响决策质量。
- — 文章提到提示注入防护依然是开放问题,常驻智能体持久暴露于外部输入,其攻击面比传统 chatbot 更大,但未给出全面解决方案。
- — 月级智能体的长期评估、安全机制和 token 效率被列为仍未解决的开放问题,说明当前架构虽然可用,但距离成熟产品还有相当距离。
4 分钟 · 6 卡片 · 18 资料
读原文 →