6.8
深览指数
科技腾讯新闻··AI 生成
Codex能“蒸馏”白领的操作了，国产论文竟然早就提出
OpenAI Codex 上线 Record & Replay 功能，通过录制用户在电脑上的操作流程，自动生成可编辑、可复用的 Skill（技能），实现重复性白领工作的自动化。文章指出，该功能比传统 RPA 更具实用性，因为它绕过了软件接口，直接“蒸馏”用户的操作经验。令人意外的是，这一核心思路早在今年 5 月就被上海交大团队在论文《AgentRR》中系统性提出，但至今未能产品化落地。本文适合关注 AI Agent、自动化工具以及对国产学术研究产品化能力感兴趣的读者。原文 ↗
核心观点
- ▍Codex 的 Record & Replay 功能能“蒸馏”白领的重复性操作，使其成为可复用的技能，有望取代大量低判断、高重复的办公室工作。
- ▍这一产品功能的核心理念早在今年5月的国产学术论文《AgentRR》中被系统性提出，但产品化能力落后于 OpenAI。
- 01Codex Record & Replay 的工作原理是：用户在电脑上操作一遍流程，插件录制并分析每一步的点击位置和输入逻辑，生成名为 Skill 的可编辑文件。
- 02该功能规避了传统自动化的核心痛点：不依赖软件是否有 API 或 MCP Server，它只观察用户在屏幕上如何点击、拖拽和填写。
- 03文章实操案例包括：将公众号文章同步分发到多个平台、财务月结、HR 为员工开户、电商客服处理退款、IT 项目初始化等。
- 04录制的 Skill 可编辑，允许用户删除多余的无意操作步骤，并调整参数，设计上比纯 Workflow 更灵活。
- 05Codex 底层依赖 Computer Use 能力，能实现在 macOS 上看屏幕、动鼠标、敲键盘，且不抢占用户控制权。
- 06上海交大 IPADS 实验室团队于2025年5月在 arXiv 发布论文《Get Experience from Practice: LLM Agents with Record & Replay》，提出 AgentRR 框架。该框架包含记录轨迹、抽象成结构化经验、下次任务回放执行的三步逻辑。
- 07AgentRR 论文提出了多级经验设计：低级经验精确记录步骤，高级经验提炼任务逻辑。Codex 录制的 Skill 在“理解逻辑而不只是复读步骤”上方向一致。
反方 / 局限
- — 文章未主动讨论该功能的局限，例如：对于模糊或非标准化操作（如绘画、创意文案撰写）的适用性，以及 Record & Replay 在处理高度动态或异常流程时的鲁棒性问题。
- — 文中提到未来员工或许需要防范老板用此功能“蒸馏”自己的操作经验，但未深入探讨由此引发的员工激励、劳动价值重估等更深层的职场伦理问题。
CodexRecord & ReplayAgentRROpenAI上海交大 IPADS 实验室冯二虎夏虞斌陈海波Computer Use
9 分钟 · 3 卡片 · 6 资料
读原文 →