上线那天,「完成」这个词最容易被用坏
上线那天,最容易被人用坏的一个词是「完成」。
最常见的用法是:流量 100% 指向新系统,于是宣布完成。
这个跳跃里丢了两件事:改前改后一致这件事有没有证据,以及这套新东西是否已经有人能长期负责。
前者丢了,问题会在几周后的某个业务周期里出现。后者丢了,半年后没人愿意动它,它就变成下一个等着被改造的遗留系统。
我的验收标准是五关。每一关都要有别人能独立核对的证据。缺证据不算通过,只有开发自己看得懂的证据也不算。
一、为什么流量全量指向新系统,不等于改完了
流量只是说明请求走进了新代码,不说明新代码给出的结果和以前一样。
它也不说明这套系统的告警有人看、日志有人查、出了事有人能定位。
所以「上线」是改造的一个节点,「完成」是另一个节点。这两个节点之间隔着证据。
二、五关验收分别要回答什么
| 关卡 | 要回答的问题 | 该拿出的证据 | 谁来核对 | 最常见的糊弄 |
|---|---|---|---|---|
| 功能一样 | 采样窗口内,每一条新旧输出的差异都找到了原因并有结论 | 差异报表,加上每条差异的处理结论 | 业务方 | 拿「测试通过」代替真实输入比对 |
| 数据一致 | 对账跑满一个完整业务周期,差异降到零 | 逐日差异条数曲线,附上差异按什么算 | 财务或结算 | 只比行数,不比字段 |
| 性能不变差 | 尾部不越过基线的正常波动,峰值水位下不垮 | 同期对比的分位数报表 | 运维 | 拿均值、跨期对比 |
| 能看能修 | 告警、日志、调用追踪、处置手册全部指向新实现 | 一次真实值班处置记录 | 值班的人 | 把老监控项照抄成新监控项 |
| 有人能接 | 没参与改造的工程师能独立完成一次小改动 | 由这个人在新系统上提交的一次变更 | 接手团队 | 「我给你们讲一遍」 |
最后一列是关键。每一关都必须有一个不是改造方的核对人。
五关全由开发自己评的项目,等于没有验收。开发能判断的只有第一关的一部分。
三、「改前改后一样」为什么不是差异为零
真实系统里,新旧输出有差异往往是正常的。浮点计算顺序不同、时间戳精度不同、排序里存在不稳定的项,都会造成差异。
所以要争的不是差异数为零,而是每一条差异都有结论。
规则只有两条:要么归到「已知且可接受」并写明理由,要么归到「必须修」。
留一条「先不管」,验收就不成立。
四、覆盖度按什么算才可信
「覆盖了 90% 的请求量」和「覆盖了全部业务形态」是两件完全不同的事。
前者按流量加权,会被高频的简单场景填满。后者要按等价类一条一条枚举。
改造验收要以后者为主,前者只用来估计影响面。
两个数字都要报。只报一个,就是在挑好看的。
五、性能基线怎么取
同期对比,不跨期。拿改造前的周一上午,对比改造后的周一上午。
跨期对比里,业务量结构的变化会盖过架构差别。你无法知道那个 P99 的改善是你的功劳,还是那天恰好没什么人用。
看分位数和尾部,不看均值。均值会被大量轻请求拉平。至少要 P95 和 P99,而且必须分接口看。
混在一起算,高频的轻接口会把低频的重接口盖住。
冷启动带来的失真,要从观察窗口里剔掉。缓存预热、连接池建立、从解释执行到编译的爬坡,会让切换后的第一个小时明显偏差。
窗口起点应该放在这之后,或者干脆把首小时单独列一档。
六、均值为什么不能当结论
这是性能这一关最容易省掉的一条:资源利用率越高,同样配置下的尾部延迟越差,而且不是线性的。
所以「机器少了 30% 但平均耗时持平」并不是一个可以收工的结论。它真正的意思是水位上去了,一次流量尖峰的后果和以前不是一回事。
改造如果带着缩量,就必须在目标水位下重压一次。看的是水位之上还剩多少余量。
这一关要的不是「持平」,而是两句话:尾部不越过基线的正常波动,并且在预期峰值水位下,余量不小于改造前。
后半句最常被忘掉,因为它的代价要到某次大促才显现。
七、数据一致这一关怎么做
对账不是跑一次脚本、看有没有报错。它要跑满一个完整的业务周期,把月末、季末、节假日这些特殊日子的数据都包进去。
每天出一条差异条数曲线,并且写清差异是按什么算出来的:按金额、按笔数、还是按状态。
只比行数是最常见的糊弄。行数对上,金额和状态可能全错。
核对的人应该是财务或结算,不是开发。
八、监控照抄过去,为什么不算迁移完成
告警规则从旧系统复制到新系统,只是把名字改了。真正的标准是:有一次真实的处置记录,是在新实现上完成定位的。
值班的人按新日志、新指标、新调用追踪,把一次异常查到具体的代码位置。
这条之所以硬,是因为它同时测了三件事:埋点够不够、指标的算法对不对、文档能不能用。三样里缺一样,处置记录就写不出来。
还有一个具体检查:日志和追踪里必须带着业务标识。
改造期最常见的退化是「错误能看见,但不知道是哪一笔」。这类问题通常在事故当天才被发现,代价是当场补日志,再重来一遍。
九、怎么判断真的有人接手了
问一句「这个新服务谁负责」。如果答案需要犹豫,或者两个团队各说一半,那它就没有负责人。
标准我只用一条:由没参与改造的人提交一次真实的小改动,并上线。
不需要大重构,那测不出接管。改个字段、加一条校验,这个量级就够。
走完这一条,说明文档、测试、发布通道、权限四样都是通的。任何一样不通,这个人会来找你,那就是验收不通过的证据。
十、旧代码什么时候才允许删
这是被跳过最多的一段。改造做完、流量走干净,很多人直接把旧代码删了,两周后被一个「它怎么还在用」的电话叫回去。
删除之前有六个前置条件。
- 没有流量的证据窗口要覆盖最长的业务周期。 不是连续三天没有调用,而是要覆盖到那些季度性、年度性的任务。窗口长度按本次涉及的最长周期取。
- 查引用不能只查代码。 配置、调度任务、SQL 脚本、视图和存储过程、权限和白名单、外部对接方的集成配置,都要查一遍。改造前梳理出的那几样没写进文档的约定,在这里全部要用上。
- 依赖它的周边资产先迁完。 备份策略、监控项、告警订阅、数据同步任务、报表取数。这些归运维和数据,不归开发,没人会提醒你。
- 分两步删:先停用观察,再清除。 第一步把入口彻底停掉,但代码和库表还在,可以快速恢复;第二步才真的移除。中间至少留一个业务周期。
- 删除动作的核对人必须是运维。 他们管备份、权限、监控和容量,只有他们能说清删掉之后少了一份什么保障。开发自己批的删除,等于没有复核。
- 临时兼容层要有到期日。 为了这次改造加的适配,都要登记归属和到期时间。没登记的东西不会被删,它会被下一代人当成「系统本来就是这样」。
十一、为什么删除要分两步
第 4 条值得多说一句:停用和清除之间的那个观察期,是整个退役过程唯一的安全保障。
一次做完的人,本质上是在赌第 1、2 条已经查全了。而这两条恰好是最容易查漏的。
十二、验收单上要写「没做的事」
签字签的不是「我信任这个团队」,而是「我已经看到这一层的证据」。
所以签字单要按层来:五层五行,每行一个核对人和一份证据。
同时必须有那一栏「签完之后仍然没做的事」。
改造结束总有已知没修的差异、被推迟的清理、临时兼容层。这一栏空着的项目,我不认为它是真做完了,更可能是没人列出来。
十三、哪几关的账是延后付的
五关里,前两关的缺失会立刻暴露,业务方会来找你。后三关不会。
性能水位、能看能修、有人能接,这三样的账都是延后付的。
付账形式分别是一次大促时的抖动、一次查不下去的事故、一次没人敢改的追加需求。
也正因为账是延后付的,验收时被省掉的通常就是这三样。
十四、退役这件事怎么排进计划
退役连验收单都上不去,所以最稳的做法是把它写成一个批次。
「删除旧订单模块」作为一个批次,带自己的证据和回滚方案。
批次里的事会被跟踪,备注里的事不会。