测试全绿,订单建了两遍:UI 测试该从举例转向讲性质

2026-11-19T07:13:51+08:00 | 7分钟阅读 | 更新于 2026-11-19T07:13:51+08:00

@
测试全绿,订单建了两遍:UI 测试该从举例转向讲性质

一个朋友上周让我看他的后台。下单页有个提交按钮,他写了三个 Playwright 用例:正常下单、库存不足、优惠券过期。CI 全绿。

上线第三天,客服转来一张工单:同一个订单扣了两笔钱。

复现路径简单得可笑。用户网络慢,点了提交没看到反应,又点了一次。他那三个用例里,没有一个是「连点两次」。以后也不会有,因为写测试的时候你写进去的,都是你已经想到的东西。

这就是示例测试的天花板。它更像在给已知的 bug 建围栏,不太像在找 bug。

写测试变便宜了,维护没变便宜

一年前大家还在争 AI 能不能写测试。现在不用争了,能,而且比人快。让 Codex 或 Claude Code 给一个页面生成 Playwright 用例,几分钟的事。

问题在于成本转移了。写用例变便宜,用例总数就暴涨,维护成本跟着暴涨。每条断言都绑着一个具体的 DOM 结构、一句具体的文案、一次具体的点击顺序。产品改一次布局、加一个 A/B 变体,几百条用例一起红。Agent 可以帮你批量改,但改完的那些用例,你自己也不太敢信了。

所以瓶颈从来不是产出速度,是产物太脆。示例测试把「正确」定义成「一串具体动作 + 一串具体断言」,而动作和断言都是实现的影子。实现一动,影子就得重画一遍。

想跳出这个循环,得换一种写测试的语法:不再描述某条路径应该发生什么,而是描述系统在所有路径上都应该满足什么。

FoundationDB 的老办法

这套思路不新。2009 年那帮人开始做 FoundationDB 的时候,第一个决定不是写数据库,是先写一个完全确定性的模拟框架。集群、网络、磁盘全塞进单进程里,同一个随机种子跑出来的事件顺序永远一样。结果是,2015 年被 Apple 收购之前,他们只收到过一个用户报告的 bug。

2018 年 Will Wilson 和 Dave Scherer 创立 Antithesis,想把这套东西卖给其他公司。这里有个现实障碍:绝大多数系统不可能为了测试去改写架构。他们的解法是把软件塞进一个确定性超虚拟机里跑,从时钟到调度都由模拟器接管。

Bombadil 是这套思路往 UI 层的一次外推,开源在 antithesishq/bombadil ,MIT 协议,Rust 写的,仓库建了不到一年,今天在 Trending 上拿了 380 个 star,总 star 2.6k。

它不要求你说「好的页面长什么样」,而是让你说「这个系统在任何情况下都不该违反什么」。

它的循环长什么样

概念上只有五步,循环执行:

  1. 从浏览器里抽当前状态
  2. 拿所有性质去检查这个状态,记下违规
  3. 基于当前状态挑一个动作,执行
  4. 等下一个事件:页面导航、DOM 变更,或者超时
  5. 回到第一步

第二、三、四步都由 Bombadil 自己判断什么时候算「状态变了」,不需要你写 sleep 去猜时机。我见过的 UI 测试里,至少一半的脆弱来自等待时机写错,这部分被它吃掉了。

规格文件是普通的 TypeScript 模块,导出两类东西:性质(property)和动作生成器(action generator)。最小的一个例子:

import { extract, always } from "@antithesishq/bombadil";
export * from "@antithesishq/bombadil/browser/defaults";

const notificationCount = extract((state) =>
  state.document.body.querySelectorAll(".notification").length,
);

export const maxNotifications = always(() => notificationCount.current <= 5);

extract 的函数在浏览器里执行,返回值被包成一个 Cell,每捕获一个新状态就更新一次。always 接收一个 thunk 而不是布尔值,因为它要在每个状态下重新求值。

这个拆分逼你把「我要观察什么」和「什么算错」分开写。平时的测试把这两件事糊在同一行断言里,所以出了问题你永远说不清是产品错了,还是断言写错了。

时间算子才是重点

always、eventually、next,配上 and、or、implies、not、within。文档里说这东西形式上是线性时序逻辑(LTL)的一个变种,听着吓人,用起来就一句话:让你能表达「条件随时间变化」。

最能说明问题的是这个:

const errorMessage = extract((state) =>
  state.document.body.querySelector(".error")?.textContent ?? null,
);

export const errorDisappears = always(
  now(() => errorMessage.current !== null).implies(
    eventually(() => errorMessage.current === null).within(5, "seconds"),
  ),
);

读出来就是:任何时候出现错误提示,它必须在五秒内消失。

这句话在产品评审会上人人都会说,但很少有人把它变成测试。因为示例测试写不了「最终」这个词。你只能 sleep 五秒再断言,而一个真的等五秒的测试又慢又不可靠。时序算子把「最终」变成了可以断言的命题,这是整件事的技术核心,比随机探索更重要。

三类性质基本够用

翻完手册,能落地的性质其实就三类。

不变量:任何时候都必须成立。通知不超过 5 条、购物车金额不为负、页面标题不为空。

保证:某个条件满足后,过一会儿必须发生某件事。错误提示要消失、点提交后要出现 loading、下单成功后通知里要带上刚才填的名字。

状态机跃迁:值只能沿合法路径变化。手册里那个计数器例子写得最漂亮:

const increment = now(() => {
  const current = counterValue.current;
  return next(() => counterValue.current === current + 1);
});

export const counterStateMachine =
  always(unchanged.or(increment).or(decrement));

三行代码抓住的东西,比十条「点一下等于 1、点两下等于 2」的用例大得多。它检查的是「不存在非法跃迁」,这个命题自动覆盖了所有点击顺序的组合。

还有个细节值得说。手册里提到,如果这份规格里导出了 reload 动作,而页面没把计数器存下来,这条性质会立刻炸。刷新清空状态是个真 bug,但没有任何人「想到」要测它,是性质把这个组合顺手揭出来的。这就是属性测试和示例测试的性格差异。

它靠不住的地方

说清楚软肋,否则就是广告。

  • 重放不保证成功。 文档原话就是不保证。重放一旦偏离,直接报错退出。UI 层没有超虚拟机级别的确定性,网络延迟、动画帧、字体加载都在变。想让重放稳,得用和原次运行完全一致的参数,包括视口尺寸和权限。
  • 收缩还在实验阶段。 shrink 命令自己标着 experimental,参数和输出格式都可能变。它先做一轮校准,估算这条 trace 复现违规的稳定度,再去找更短的一条。
  • 它不告诉你业务算错了。 价格少算三块、税号格式错了,这类要精确断言的东西,属性测试天生不擅长。它擅长的是你没想过的路径,不是你想到了但算错的数。
  • 默认那几条是白送的。 未捕获异常、未处理的 Promise rejection、console.error、HTTP 4xx 和 5xx。不写任何规格就能跑,这部分价值最高、成本为零。

所以定位得摆正。本地跑几分钟,它是一个筛子;丢进 Antithesis 那套确定性模拟里,它才是显微镜。本地能复现的 bug 算运气,不能复现的才是常态。

为什么这事在 agent 时代才真有意义

属性测试不是新东西。QuickCheck 1999 年就有了,Hypothesis、fast-check 这些库在别的领域用了很多年。它一直没在 UI 层普及,原因很朴素:写性质比写用例费脑子,而前端迭代速度不允许你花这个脑子。

现在反过来了。

Agent 写代码的速度已经超过人写测试的速度。你给一个需求,它半小时交出八百行,顺带生成三十条用例。问题是这三十条用例覆盖的是它自己实现时的思路,和实现同源。同源的测试挡不住同源的错误。

性质是从需求那一侧写的。错误要消失、金额不能为负、计数只能加一。这些话说的是行为,不是 DOM,不随组件拆分和解法换代而失效。一份性质可以跨三次重构继续有效。

这是我目前看到的,唯一不会被 agent 产出速度稀释的测试形式。

一天能怎么开始

  • 先别写规格。直接对线上预发环境跑十分钟默认性质,多半能捡到几个 console.error 和 4xx。
  • 挑一个最怕出事的页面,写三条:一条不变量、一条「最终」、一条状态机。不要多写。
  • 用 weighted 调动作权重,把真实用户最常走的路径调高,别让随机探索的时间全花在点导航栏上。
  • 环境不干净的页面先别上。接口不稳、数据乱的时候,它只会给你一堆假阳性,然后你就再也不看它了。
  • 分工照官方建议:本地跑短测试,CI 或者 nightly 跑长的。

最后

UI 测试这十年做的一件事,是把「点击」自动化了,但没把「判断」自动化。Playwright 让机器学会了点按钮,属性测试让机器学会了一件事:这算不算错。

前者是手工活的加速,后者是换一个问题来问。

Bombadil 现在很早期,0.7 的版本号,文档里到处标着 experimental。但它指的方向我认为是对的:比起写更多用例,先把「什么算错」讲清楚。

参考来源

Me

Cut out summary from your post content here.

The remaining content of your post.