醒非说

例子 5:让 AI 从一段录屏里,把「操作流」还原出来

2026-10-14

这件事还没做成。但我觉得值得写下来——因为它指向一个比"写代码"更值钱的能力:

把一个人手上的活,变成一份能反复读的规则。

为什么要做这件事

我在给一家客户做仓库报表。我们算出来的数,跟他们每天在群里发的那张表一直对不上。

差在哪儿,问了好几轮也说不清 —— 不是人家不肯说,是这些活干久了就成了手感:
点几下、改个时间、看一眼条数,自己都说不清刚才点了什么。

靠问、靠猜,都到头了。所以我换了个办法:

把他的操作录下来,让 AI 看。

我手里有什么

一段 7 分钟的屏幕录像。1920×1080、15 帧每秒、音轨是空的(没有声音)。

我的第一句交代就把它排除掉的选项说清楚了:

这个录屏是没有语音的,所以不用尝试 ASR,如果纯视频分析不够,那就算了。

没声音就别折腾语音识别——省下来的时间全花在画面上。

第一层:先把画面读懂(这一步成了)

7 分钟按 15 帧算是 6500 多帧。真的一帧一帧看,看完也记不住。
所以第一步不是"看",是压:

  1. 每秒取一帧,一共 436 张;
  2. 只裁画面里会变的那一块(左边的筛选栏);
  3. 前后两张一比,画面没动的一律扔掉,只留"变了"的那一帧;
  4. 8 个状态拼成一张图,一张图能读 8 个时刻。

token 花在"变化的时刻"上,不花在"画面没动"上。 这一步很有效——
我确实读出来了:他在挨个点左侧的查询池、右下角的条数在变、他最后切到一张表格里抄数。

第二层:把"动作"抠出来(这一步卡住了)

我要的不是"他屏幕上出现过什么",是他做了什么:点了哪个池、勾了什么、取消了什么。

我试了两种办法:

办法一:数蓝色像素。
屏幕上"勾上"的选项是蓝色的。所以每帧只读那一列的蓝色占比,超过阈值就算勾上。
——失败了。因为那个蓝色只是勾(√)的颜色,白底上一个勾,占比忽高忽低,
误报一屏。我一开始连勾选框的横坐标都算偏了 13 个像素。

办法二:模板匹配。
从某一帧里剪出"勾上的框"和"没勾的框"两个样板,逐帧滑过去比。
——好一些,但阈值要反复调,还是太吵。

还有一个更麻烦的问题:列表会滚动。
同一个选项,在屏幕上的位置一直在变。所以就算读出了"某个位置被勾了",
还得再建一层「位置 → 名称」的映射(可以用文字像素的哈希做,不必上 OCR)。

最后是靠什么解决的

不是靠视频——是靠人。

我把那 7 分钟切成 81 个"查询落定"的时刻(每段只留画面稳下来的那一帧,
8 个拼一张、带时间戳),做成 11 张图册,交给人去翻。

他翻完,给我写了一段 31 步的操作序列:

点大金额查询池 → 点清空 → 勾「小盒子数量单单独处理」+「数量单」→ 组合查询 → 读数
点大金额查询池 → 勾「发货中」,取消「已付款待审核」、取消「异常」→ 付款时间 13~13 → 查询 → 读数
...

这段序列比视频值钱得多。 从它里面能直接读出一条通用规律:

点查询池 = 把该池的全部条件写进表单;点「清空」= 表单归零;
之后的手动勾选/取消,是在这个基础上做增删。

⇒ 任意一个查询时刻的真实条件 =(它之前最后一次"池子点击",若无则空)⊕ 之后的手动增删。

按这条规律复算,12 个格子里 9 个一分不差。口径就这么解开了。

结论:入口选错了

这段经历让我把一件事想明白了:

别从视频里反推动作。让录屏的时候,顺手把动作记下来。

视频是给人看的:几千万个像素,每秒重复 15 遍,而里面真正稀缺的信息只是
"他点了一下这里"。从像素里把这一下捞出来,每一环都要标定、调参,
换个客户、换个分辨率就得重来。

所以正确的做法是换入口,按性价比排:

做法成本
最划算录屏软件顺手记下鼠标点击坐标 + 键盘,存成一个附加文件低(录屏软件本来就在录屏)
也很好页面里打点:把每次点击(点到了哪个控件、值变成什么)导成 JSON中(要装一段脚本)
我最后用的钩住页面发出的网络请求,把每次查询真正提交的条件抓下来低,但要开调试口

有了前面任一条,"动作流"就是现成的,视频只负责回答"当时屏幕长什么样"。

花了多少

抽帧、拼版、分析,全在本地跑,不花钱。真正花的是"看"的成本:
这一趟 7 分钟的录像,大约 2 万个 token 的量级——一杯水的钱。

(顺带一句:别用微信传过来的压缩版,界面上的小字会糊成一团;能用原始文件就用原始文件。)

一句话

录像不是给人看一遍的。把它压成"变化的那几帧",机器就能把一个人的手,变成一份能反复读的规则。

——这一次,最后那一跳还是靠人。但我知道下一步该往哪儿走了。