它不是录坐标,是让模型从你的一次操作里学会怎么重复做这件事。
传统的 RPA 录屏一换界面就废了。Codex 录的是”你想把它干成什么”。两件事差了一个大模型的距离。

先判断是不是录屏软件
6 月 18 日,OpenAI 在 Codex 的 macOS App 里上线了一个新功能,叫 Record & Replay。名字听起来像录屏软件,但实际不是。
它的工作方式是这样的:你在 Mac 上做一件事——列如填一个报销单、登录一个系统下载周报、把视频传到某个平台——Codex 在后台观察你的操作。做完之后,Codex 把这次演示转成一份 SKILL.md 文件,之后你就可以让 Codex 自己重复做这件事。
换一个说法更好理解:以前你要用文字把工作流描述给 AI,目前你做一遍就行了。
怎么做
操作步骤很直接:
1)打开 Codex App 的 Plugins 面板
2)点 “+” 菜单,选择”Record a skill”
3)确认允许 Codex 观察你的操作
4)在你的 Mac 上正常做一遍这个工作流
5)做完后停止录制
录制过程中 Codex 观察的是你的操作和窗口内容,不是录一个视频文件。停止录制后,Codex 检查整段工作流,生成一份 SKILL.md——这是一个人类能看懂、模型也能理解的工作流描述,包含什么时候用、每次哪些值可以变、步骤怎么走、怎么检查做完没有。
之后开一个新对话,告知 Codex 用这个 skill,把这次不同的参数给它(列如这次的报销金额、这次要下载的时间范围),它就用 Computer Use(Codex 直接操控桌面和浏览器的能力)、浏览器操作或已有的 plugin 自己跑完。
跟 RPA 录屏到底差在哪
用过 UiPath 或 Automation Anywhere 的人会直接问:这不就是 RPA 的录屏回放吗?
差在两个关键词:录了什么,和怎么回放。
RPA 录的是操作步骤和元素定位规则——这个按钮的 selector 是什么、那个输入框用 CSS class 还是锚点来定位。这些规则需要有人花时间维护,界面一改就可能需要对选择器做适配。
Codex 生成的是一个自然语言的工作流描述。回放的时候,不是按固定规则找 UI 元素,而是让模型理解”这一步的目标是什么”,然后在当前屏幕状态里找到怎么完成它。界面换了布局、字段挪了位置、按钮换了个文案,只要模型能理解目标,就可能自己适应。
这是 programming by demonstration 这个研究方向在 LLM 时代才真正能落地的版本。八十年代就有人提这个概念,但那时候靠符号规则推断用户意图,对真实工作流太脆了。目前把泛化这一步交给语言模型,才让它对跨系统、跨界面的重复操作真正有点用。
什么时候用、什么时候别用
OpenAI 自己的文档写得很克制:这个功能在”步骤稳定、成功标准明确”时效果最好。
翻译成人话:
适合的场景:填报销单、下载周报、创建标准格式的 Jira issue、上传视频到固定平台、每周拉同一份数据报表。
不适合的场景:步骤中间需要判断力的任务、界面常常变的工作流、出错了需要自己处理的场景。
有个数字可以参考。Stanford 2026 AI Index 报告的数据,当前 agent 在 OSWorld(一个桌面自动化基准测试)上的平均成功率是 66%,一年前是 12%。进步很快,但还有三分之一会挂。工作流平台 Temporal 在其技术博客里做过一个更直观的推算:即使每一步的成功率有 85%,一个 10 步工作流端到端成功的概率也只有大约 20%。
所以 OpenAI 才会提议从”步骤稳定”的工作流开始。这不是谦虚,是当前 agent 能力的真实边界。
哪些人能用
目前有几个限制:
1)只在 macOS 可用,没有 Windows/Linux 版的时间线。
2)EEA(欧洲经济区)、英国、瑞士不可用。OpenAI 没有公开解释缘由。比较合理的推测是和 EU AI Act Article 50 有关——这条关于 agentic AI 系统的透明度条款定在 2026 年 8 月 2 日生效。Computer Use 本身倒是前两天刚对这些地区开放了,但 Record & Replay 不在这次开放范围内。
3)需要 Computer Use 在 Codex 设置里启用。企业版可以用 requirements.toml 里的 [features].computer_use 统一控制。
4)需要付费订阅:ChatGPT Plus ($20/月) 起步。
这件事为什么重大
Record & Replay 不是在跟 RPA 竞争。它在改变 AI 自动化的”教学方式”。
之前给 AI agent 教一个工作流,你得用文字把它写清楚。但许多重复性工作流——尤其是那些跨系统、跨网页的操作——使用者自己都不必定能用文字准确地讲出来。他知道怎么做,但怎么描述”每次下一步要点什么取决于上一页加载出来什么东西”?
Record & Replay 把这个问题绕过去了。教法从”你给我讲”变成”我做一遍,你看”。而且生成的 SKILL.md 是可读、可改的——如果你想修正某个步骤的判断方式,直接打开这个 Markdown 文件修改对应步骤的描述就行,不用重新录。
更关键的是团队传播这件事。一个同事录好一个正确配置 Jira issue 的标准流程、一个报销单的标准填法,整个团队只要装了 Codex 就能直接用,不需要每个人都重新教一次。
这不是录屏软件。这是把”我有一个办法,但我懒得每次解释”这件事,第一次变成了可以交给 AI 的工作。
来源地址
OpenAI 官方文档:Record & Replay – Codex | OpenAI Developers
OpenAI 社区论坛公告:Introducing Record & Replay(VeitB, Jun 18)
TechTimes 深度报道:OpenAI Codex Automation Gains Record and Replay





