例子 5:让 AI 从一段录屏里,把「操作流」还原出来
2026-10-14
这件事还没做成。但我觉得值得写下来——因为它指向一个比"写代码"更值钱的能力:
为什么要做这件事
我在给一家客户做仓库报表。我们算出来的数,跟他们每天在群里发的那张表一直对不上。
差在哪儿,问了好几轮也说不清 —— 不是人家不肯说,是这些活干久了就成了手感:
点几下、改个时间、看一眼条数,自己都说不清刚才点了什么。
靠问、靠猜,都到头了。所以我换了个办法:
我手里有什么
一段 7 分钟的屏幕录像。1920×1080、15 帧每秒、音轨是空的(没有声音)。
我的第一句交代就把它排除掉的选项说清楚了:
没声音就别折腾语音识别——省下来的时间全花在画面上。
第一层:先把画面读懂(这一步成了)
7 分钟按 15 帧算是 6500 多帧。真的一帧一帧看,看完也记不住。
所以第一步不是"看",是压:
- 每秒取一帧,一共 436 张;
- 只裁画面里会变的那一块(左边的筛选栏);
- 前后两张一比,画面没动的一律扔掉,只留"变了"的那一帧;
- 8 个状态拼成一张图,一张图能读 8 个时刻。
token 花在"变化的时刻"上,不花在"画面没动"上。 这一步很有效——
我确实读出来了:他在挨个点左侧的查询池、右下角的条数在变、他最后切到一张表格里抄数。
第二层:把"动作"抠出来(这一步卡住了)
我要的不是"他屏幕上出现过什么",是他做了什么:点了哪个池、勾了什么、取消了什么。
我试了两种办法:
办法一:数蓝色像素。
屏幕上"勾上"的选项是蓝色的。所以每帧只读那一列的蓝色占比,超过阈值就算勾上。
——失败了。因为那个蓝色只是勾(√)的颜色,白底上一个勾,占比忽高忽低,
误报一屏。我一开始连勾选框的横坐标都算偏了 13 个像素。
办法二:模板匹配。
从某一帧里剪出"勾上的框"和"没勾的框"两个样板,逐帧滑过去比。
——好一些,但阈值要反复调,还是太吵。
还有一个更麻烦的问题:列表会滚动。
同一个选项,在屏幕上的位置一直在变。所以就算读出了"某个位置被勾了",
还得再建一层「位置 → 名称」的映射(可以用文字像素的哈希做,不必上 OCR)。
最后是靠什么解决的
不是靠视频——是靠人。
我把那 7 分钟切成 81 个"查询落定"的时刻(每段只留画面稳下来的那一帧,
8 个拼一张、带时间戳),做成 11 张图册,交给人去翻。
他翻完,给我写了一段 31 步的操作序列:
点大金额查询池 → 点清空 → 勾「小盒子数量单单独处理」+「数量单」→ 组合查询 → 读数
点大金额查询池 → 勾「发货中」,取消「已付款待审核」、取消「异常」→ 付款时间 13~13 → 查询 → 读数
...
这段序列比视频值钱得多。 从它里面能直接读出一条通用规律:
之后的手动勾选/取消,是在这个基础上做增删。
⇒ 任意一个查询时刻的真实条件 =(它之前最后一次"池子点击",若无则空)⊕ 之后的手动增删。
按这条规律复算,12 个格子里 9 个一分不差。口径就这么解开了。
结论:入口选错了
这段经历让我把一件事想明白了:
视频是给人看的:几千万个像素,每秒重复 15 遍,而里面真正稀缺的信息只是
"他点了一下这里"。从像素里把这一下捞出来,每一环都要标定、调参,
换个客户、换个分辨率就得重来。
所以正确的做法是换入口,按性价比排:
| 做法 | 成本 | |
|---|---|---|
| 最划算 | 录屏软件顺手记下鼠标点击坐标 + 键盘,存成一个附加文件 | 低(录屏软件本来就在录屏) |
| 也很好 | 页面里打点:把每次点击(点到了哪个控件、值变成什么)导成 JSON | 中(要装一段脚本) |
| 我最后用的 | 钩住页面发出的网络请求,把每次查询真正提交的条件抓下来 | 低,但要开调试口 |
有了前面任一条,"动作流"就是现成的,视频只负责回答"当时屏幕长什么样"。
花了多少
抽帧、拼版、分析,全在本地跑,不花钱。真正花的是"看"的成本:
这一趟 7 分钟的录像,大约 2 万个 token 的量级——一杯水的钱。
(顺带一句:别用微信传过来的压缩版,界面上的小字会糊成一团;能用原始文件就用原始文件。)
一句话
——这一次,最后那一跳还是靠人。但我知道下一步该往哪儿走了。