7.5
深览指数
科技虎嗅·AppSo··AI 生成

刚刚,Codex 大更新,你在电脑的操作正在成为AI 经验包

OpenAI 发布 Codex 的 Record & Replay 功能,允许 AI 通过录制用户的操作流程来学习并生成可复用的“技能”(skill)。该功能瞄准报销、上传视频等重复性工作,旨在将图形界面从人机交互的基础转变为 AI 接管电脑的现成基础设施。文章详细拆解了录制步骤、演示了上传视频的案例,并对比了 Codex 操作电脑的三种路径(Computer Use、Chrome 扩展、应用内浏览器),揭示了 AI 从软件操作者向人类经验训练者的角色转变。适合关注 AI Agent、自动化工具及人机交互范式变化的开发者或产品经理阅读。原文 ↗

核心观点
  • Codex 的 Record & Replay 功能标志着 AI 与软件交互方式的转变:AI 不再依赖 API,而是直接学习人类使用图形界面的方式,将人的操作经验沉淀为可复用的技能,人正从软件操作者变为 AI 的训练者。
  1. 01Record & Replay 的工作流程:需在 Codex 中开启 Computer Use 功能;录制前应告知 AI 目标和可变输入;演示需短而完整,避开敏感信息;录完后 Codex 会自动生成一个包含使用时机、输入、步骤、验证方法的 skill。
  2. 02公开演示案例:Codex 通过录制用户在 YouTube Studio 上上传视频(选文件、填标题、传缩略图、设隐私、加字幕)的全流程,学会了处理文件配对、元数据填写和字幕对齐等隐性规则。
  3. 03Codex 操作电脑的三种路径:Computer Use(操作任意 GUI 应用,但速度慢)、Chrome 扩展(接管已登录的浏览器会话)、应用内浏览器(提供隔离环境,专用于开发调试)。三种路径可通过 skill 灵活组合调用。
  4. 04Record & Replay 录制的 skill 是“可复用上下文”,不是死脚本。它能结合当前环境灵活执行,支持同一 skill 处理不同输入(如 A 文件或 B 文件)。
  5. 05Codex 应用支持接入非 OpenAI 模型,通过配置 model_providers 可对接 Ollama、LM Studio、Mistral 等本地或第三方模型,载体本身是模型开放的客户端。
  6. 06当前限制:仅支持 macOS,首发地区不包括欧盟、英国和瑞士,且必须开启 Computer Use 功能。组织管理员若在 requirements.toml 中将 computer_use 设为 false,Record & Replay 也会同步消失。
反方 / 局限
  • Record & Replay 不适合需要语言描述的复杂规则工作,仅适用于“做一遍你就懂的”重复性任务;频繁变化或数据结构差异大的流程不适合用录制来复现。
  • 文章提及自动化边界依然存在:Complex Use 虽然能操作无 API 的应用,但速度慢,信任边界窄,涉及钱、账户、支付等操作时建议人全程在场。
  • 文章隐含的争点:若想将 skill 作为团队标准包分发、捆绑多个 skill、或集成 MCP 服务器,仍需要回到传统的插件打包方式,Record & Replay 只是“快速原型”捷径。
CodexRecord & ReplayComputer UseOpenAIJasonMacChromeYouTube StudioMCPAppshot
14 分钟 · 5 卡片 · 8 资料
读原文 →

概念锚点

前置背景

平行视角

未来推演

延伸追问