问问助手

没有测试的老系统,先让它自己交代行为

2026-09-24 Aryee 25

改造期最贵的成本不是写新代码,是没人能说清老代码现在到底做了什么。

于是有一个判断我改了很长时间才接受:这套新旧比对的能力要单独占一个批次,而且排在最前面。

它不是改造顺手配套的活。要单独排期、单独估工、单独验收。

把它当成改造过程中顺手补的测试,结果是每个后续批次都在没有验收依据的情况下合入。

这一篇只讲证据从哪来、记录记到多细、以及比对出的差异怎么处置。

注意与「把重构分成能验收的批次」那篇里的「影子流量的四种形态」分开。那讲的是流量怎么分着换,这一篇讲的是证据怎么取,两件事经常被混成一段话。

一、为什么改造期最贵的成本不是写代码

新代码至少知道该写成什么样。老代码现在到底做了什么,往往没人说得清。

说不清,就没法判断新实现是不是和原来一样。

于是每个批次都只能靠人看、靠试用、靠出事之后再补。这样的验收没有底。

二、为什么比对能力要单独占一个批次

因为它是后续每个批次的验收依据。

没有它,第一批改完说没问题,只是说的人觉得没问题。第二批、第三批会把这个不确定继续放大。

单独排期还有一层好处:这件事本身有明确的产出,就是一套能重复跑的比对能力。

它可以被验收,也可以被后来的人接着用。

三、三条拿证据的路,工程量差一个量级

路线 输入来源 能证到什么 证不到什么 工程量
黄金文件 人工挑定的固定样本 这批输入上行为未变 样本外的形态 低
线上双跑比对 真实流量同时打两侧 真实流量下改前改后一致 有副作用的写路径 中高
录制回放 线上流量的录制件 读路径的覆盖面 重复请求、时效性依赖 中

三条不是递进关系,是覆盖面与代价的取舍。

只走第一条,结论只覆盖你想到那些情况。只走第二条,写路径根本进不来。只走第三条,会漏掉录制窗口里恰好没出现的形态。

四、录制回放为什么别指望现成工具

第三条要先破一个幻想:不要预设真有现成的开源回放工具,接上就行。

我核实过的现状是这样。Java 侧那套最知名的方案 JVM-Sandbox-Repeater 已经实质休眠,release 停在 2022 年,提交停在 2024 年中。

Go 侧的 GoReplay 换了仓库但还在维护。更早被引用过的若干 diff 工具仓库,直接从 GitHub 消失了。

所以按你自己的语言栈实测之后再决定。

多数团队的现实结论,是自己写一个只覆盖读接口的采集回放脚本。它的工作量比把一套半废弃框架适应当前版本要小,而且你知道它每一步在做什么。

五、我默认的组合是哪三条

第一条建基线并常驻回归,第二条在灰度期跑一段时间,第三条只在纯读接口上做。

灰度期就是先让一小部分流量走新路径的那段日子。

全部三条都省、只在预发跑几个用例的那种,不是验证,是自检。

六、特征测试和黄金文件有什么区别

先分清两个词,这两个词经常被当同一种东西用。

特征测试说的是描述它现在做什么,而不是描述它应该做什么。这个说法出自 Feathers 那本讲遗留代码的书。

黄金文件是把这个意思自动化落地的一种形态:把当前输出存成基线,之后逐字段比对。

这一节讲的是后者的工程细节,做错的点全在其中。

七、黄金文件的输入怎么挑

第一步,按等价类枚举,再用真实分布校准。

先手工列形态:不同用户类型、不同订单状态、边界值、异常入参、权限分支。

列完之后,拿一段真实流量的分布回来校准。这一步是为了知道每类形态占多少,避免把样本全花在高频简单场景上。

只列不看分布,等价类通常漏两到三类。只看分布不做枚举,稀有形态一条都测不到。

八、快照要记到哪一层

记到规范化后的关键字段,不是整个响应。

整响应快照会在两次运行之间产生大量假差异。只记一两个结论字段,又会掩盖结构变化。

可操作的做法是字段白名单加逐字段比对。白名单本身进版本库,改白名单要评审。

九、哪五类噪声字段必须先抹平

噪声字段必须先归一化,否则比对结果没有信息量。常见的五类,逐类都要有处置规则。

  • 时间戳与日期:容差比较,或者剥离出比对集单独看量级
  • 请求追踪号:直接忽略,但要确认它不影响业务字段
  • 自增主键与序列:忽略值,只比是否非空、是否唯一
  • 集合与 map 的顺序:显式排序后再比,除非顺序本身就是约定
  • 浮点与金额:按最小单位取整比对;金额出现浮点差异一律升级为必须修

第四类是陷阱最多的地方。

如果顺序是有约定的,比如前端按下标渲染,排序后比对会主动掩盖真实缺陷。这一条要在约定清单里单独标注,不能凭默认。

十、黄金文件会锁住 bug,这是它的目的

必须说清这一点,不然它会被人当成缺陷而放弃。

特征测试记录的是当前行为,包括错误的当前行为。

处置只有一个:把锁定下来的行为显式分成两栏,一栏是「要保持」,一栏是「顺带要修」。

第二栏不允许静默改动。每一条要走变更确认,而且要有业务方确认。

这个金额算错了,我们一直这么给客户出账的,你确定要改?这类对话必须在改造前发生,不是在上线后。

跳过这一步的团队,会同时得到两个坏结果。

要么老 bug 被无声无息地带进新系统,要么被无声无息地改掉。出账对不上时,两头都说不清是谁改的。

十一、写接口怎么把副作用隔开

读接口好办,写接口的证据难造,因为跑一次就把数据改了一次。

三条路,按适用度排。

  1. 隔离存储。给新实现一套独立库,回放写流量。最干净,工程量也最大,真实数据规模的副本、脱敏、外部依赖打桩,三样都要。
  2. 截断到写之前。只执行到即将落库这一步,把决策结果序列化成快照来比对,包括要写什么、影响哪几行、走哪个分支。这条性价比最高,代价是它证明不了落库后的行为。
  3. 副作用打桩并记录调用意图。外部调用全部打桩,比如发消息、调第三方、扣款,比对调用意图是否一致。这条要额外确认一件事:打桩清单要从线上真实调用里抓,靠人列一定漏。

打桩就是拿一个假实现顶上去,让它不真的发消息、不真的扣款,只把调用记下来。

三条都不做、直接拿线上写接口做双跑,等于在生产上做集成测试。

这不是激进,是没有退路。

十二、比对出差异后的四种去处

真实比对一定产生差异。每一条差异必须当场给个去处,不能攒着。

攒下来的差异列表,会在第三次评审时被整体归为已知问题。

类别 处置 时限
噪声 加进归一化白名单,写明理由 当场
已知且可接受 记录差异内容、判定人、依据 当场,且必须有非开发方的判定人
还没找到原因 挂工单,指派到人 有到期日
必须修 阻断放量 修完才能继续

规则是:不允许「先不管」这一类存在。

上线那天,「完成」这个词最容易被用坏 里那句每一条差异都要有交代,就是这个意思。

要么有处置结论,要么有判定人和判定依据。两样都没有的,就是没做完。

白名单本身要评审,而且要定期重看。噪声规则一旦写死,两年后它会盖住一个真问题。

十三、抽样量怎么算,别报「跑了十万条」

我们回放了三万条请求都没问题,这句话没有信息量。因为没人知道那三万里有几种业务形态。

有意义的表达是:某个形态至少出现一次,需要多少样本。

若某形态在真实流量里占比 p,希望以置信度 C 至少命中一次,样本量是:

n ≥ ln(1 − C) / ln(1 − p)

p = 1% 时,n 约是 460,C = 99%。

p = 0.1% 时,n 要 4600 以上。

这就是为什么抽十万条仍然可能一条都没测到关键形态。分布是不均匀的,采样量随稀有度是除法关系,不是线性关系。

于是比对报告的正确写法是:按形态报覆盖,不按总量报通过。

每类形态后面跟跑了多少条、差异多少条、差异怎么处置的。总量那一行只在估算影响面时有用。

十四、顺序错了,前面全白做

最后一条纪律:同一个批次里,不要同时做补测试和换实现。

正确顺序是三步,中间不能跳。

先用特征测试锁住现有行为。再在行为不变的前提下改结构,引适配层、理依赖。最后才替换实现。

跳步的常见形态是,我边重写边把测试补上。

这样测试实际是按新代码写的,它永远通过,也就永远证明不了什么。而改造验收要的是它能证明不等价的能力。

一份从不会失败的测试,比没有测试更贵,因为它占了验收单上一行。

十五、什么算这一层做完了

  1. 黄金文件基线在版本库里,带生成来源,而且改白名单需要评审。
  2. 写接口有明确的副作用处置方案,而且打桩清单来自线上真实调用。
  3. 差异清单里「还没找到原因」这一栏为零,或者每条都有到期日而且还没到期。
  4. 覆盖度报表按形态分列,能指出哪些形态样本量为零。

第 4 条最难做到,也最值钱。

它给出的不是通过,而是一份这次改造我们其实没验证到什么的清单。

而这份清单,才是评审该看的东西。

把三条路摆在同一张纸上:黄金文件能证明什么、线上双跑比对能证明什么、录制回放能证明什么,各自拿不到什么,一眼就能对上。

引用这一篇
https://www.aryee.cn/archives/legacy-modernization-parity-evidence.html

转载或引用请注明出处与链接。

你手上那套系统,卡在哪一步?

留个手机号和方便的时间,我打过来先听你说现状和限制,再给一个能执行的判断:这套系统该继续修、该动哪里,还是重做一版更省。

约一次沟通不接纯 UI 外包,只做系统层面的问题。不方便留号码,也可以直接跟助手说一句话。