产品腾讯新闻··AI 生成
Codex大更新,你在电脑的操作正在成为AI经验包
OpenAI的Codex推出新功能Record & Replay,用户演示一遍操作流程后,AI可将其打包为可复用的skill,后续自动执行类似任务。文章详细拆解了录制与复现的七步操作、三条操作电脑的技术路线(Computer Use/Chrome扩展/应用内浏览器),以及该功能对AI与软件交互方式的潜在影响——AI从依赖API转向直接学习人类操作图形界面,人从软件操作者逐渐变为AI训练者。适合关注AI Agent落地、RPA替代方案及人机协作演进的从业者阅读。原文 ↗原文 ↗
核心观点
- ▍Record & Replay让AI通过观察人类的操作演示来自动生成可复用的技能(skill),实现从「人操作软件」到「人训练软件」的角色转变。
- ▍AI与软件交互的方式正在发生根本变化:过去自动化的基础是API,现在OpenAI试图绕开这层限制,让AI直接学习人类使用图形界面的方式。
- 01Record & Replay的录制过程分为七步:在Codex应用安装插件、授权录制、在Mac上正常完成任务、主动停止录制、AI复盘并起草skill、调整skill、后续调用。
- 02Codex操作电脑有三条路径:Computer Use(通过图形界面操作任何应用,包括无API的应用如Spotify、Xcode),Chrome扩展(接管已登录的Chrome,适合需认证的Web任务),应用内浏览器(隔离开发环境,适合调试Web应用)。
- 03Codex并非纯观察型录制,它能「理解」操作背后的逻辑,如在上传YouTube视频案例中,它学会了Private与Unlisted的适用场景、.mp4与.srt文件的配对、元数据填写规范等隐性规则。
- 04Codex的应用和SDK不仅支持OpenAI模型,还可通过配置连接Ollama、LM Studio等本地开源模型及Mistral、Azure、Amazon Bedrock等第三方模型。
反方 / 局限
- — Record & Replay目前仅支持macOS,首发不覆盖欧盟、英国和瑞士,且必须先开启Computer Use功能,地域和平台限制明显。
- — 如果组织管理员在requirements.toml中将computer_use设为false,Record & Replay功能将一同消失,控制权在企业IT而非使用者手中。
- — 文章在描述未来趋势时偏向积极一面,未充分讨论技能安全、错误执行造成的数据丢失、隐性规则学习偏差等潜在风险。
CodexRecord & ReplayComputer UseAppshotOpenAIMCPYouTube StudioChrome
概念锚点
前置背景
平行视角
未来推演
延伸追问