问问助手

数据改造四步:哪一步之后就退不回去了

2026-09-24 Aryee 23

改造方案里,数据这一节应该排在最难的位置,而不是最后。

原因很简单:代码改坏了能退回去,写歪的数据退不回去。

一个项目的退回设计能不能成立,几乎全部取决于数据这一段怎么设计。

下面按四步走,每步只讲它会失败在哪里。

一、为什么数据这一节要最先设计

因为前面所有批次的退回方案,都依赖数据这一段。

代码可以打包回旧版本,配置可以改回去。数据一旦按新格式写进去,旧版本不一定读得懂。

所以数据方案不是收尾工作。它要在第一个批次动手之前就定下来。

二、先扩后收的三段各做什么

库结构改造的标准三段是:先扩展,然后迁移,最后收缩。

先加上新列新表,不动旧的。再把读写逐步挪过去。最后删掉不再使用的部分。

这套做法叫 Parallel Change。最早由 Joshua Kerievsky 在 2006 年提出,2014 年由 Danilo Sato 写成条目,收进 Martin Fowler 的术语页。

它不是某个云厂商的内部实践,是十几年前的公开方法。原文也老实列了代价:迁移期新旧两个版本并存,会让外部调用方困惑。

三、收缩为什么必须等到退役

收缩必须在所有实例都跑在新代码之后。

滚动发布、任务实例、退回用的旧版本包,任何一处还在跑旧代码,收缩都会把它打挂。

所以收缩的正确归属是退役批次,不是改造批次。

这个模式的一手表述比我这里更严格:不执行收缩阶段,你会停在一个比动手前更糟的状态。

原文用的是一句英文,意思是比开始时更糟,并明确要求完成转换的纪律。

我原来写成僵尸列的风险,实际是这条警告的具体形态:新旧两套字段同时存活很多年,没人知道哪个是真的,也没人敢删。

所以收缩要写进改造批次,带自己的验收条件。退役清单另有一篇专门讲。

四、收缩前要核实哪三件事

收缩能不能安全执行,还取决于你所用数据库对该类改表操作的在线支持。

这一条我核实过 MySQL 现在的实际情况。

8.4 起,加列和删列的默认算法就是 INSTANT。行版本数上限为 64,9.0 起提到 255。

达到上限时,INSTANT 会直接报错,并要求改用 INPLACE 或 COPY,不会静默降级。这一点我此前记错过一次,误以为它会自动回退成在线执行。

所以老库要不要上第三方在线改表工具,这个问题仍然成立。但要看三条具体的:版本够不够新、这条改表语句属于哪一类操作、目标表是不是已经快到行版本上限。

纪律不变:按当前版本加当前这一条改表语句,在生产同构库上实测一次再决定。

凭印象决定,最坏结果是在业务高峰把主库锁住。

五、双写(新旧两侧同时写)挂在哪一层,差别在哪

实现位置 一致性 典型失败 什么时候用
应用层内联双写 最弱,两步之间可失败 第二写失败被 catch 掉,只写成功路径 过渡初期,且必须配补偿
本地消息表 写与消息同事务,投递最终一致 消费者不幂等,重投即重复 默认选它
变更日志订阅 不侵入业务代码 拿不到业务语义,改表即断,顺序依赖单流 目标是同步或迁移,不是改造逻辑
库端触发器 覆盖所有写入来源,含手工 SQL 逻辑藏在库里、难以版本化、性能不可控 只作为保底,且限期撤掉

本地消息表也叫 outbox,意思是把要发出去的消息先和业务数据写在同一个事务里,再由后台任务送出去。

应用层内联那一行值得展开,因为它的四种失败模式,几乎每个项目都会踩到其中一种。

六、应用层内联双写会踩到哪四种失败

第一,只在成功路径上写了第二份。异常分支、参数校验失败、重复请求命中后提前返回,这些路径都漏写。

第二,事务退回只退了一侧。新库在同一事务里,旧库在事务外或跨库,于是旧侧退了,新侧留下脏数据。

第三,外部调用被重复执行。双写的重试把发一次短信、扣一次款变成两次。这是唯一一类退回也补不回来的失败。

第四,顺序错乱。更新比插入先到达,两条路径、两个分区键、并发重试都可能造成。结果新侧有一条陈旧数据,或者一条孤儿记录。

七、双写的正确设计是什么样

正确的设计不是两侧都写,而是每条写入有幂等唯一键,冲突时用版本仲裁,而不是最后写入者胜。

幂等的意思是,同一个请求重复到达时只生效一次。

用最后写入者胜的前提,是你确认可以丢更新。绝大多数业务不允许,但代码看起来很像允许,因为本地测试永远是顺序的。

八、先开双写还是先回填历史

顺序上还有一个前置问题:先回填历史,再开双写,还是反过来。

答案是先开双写,再回填历史。回填按水位跳过双写窗口内的数据。

反过来会丢:双写开启前那一刻的写入,在回填结束时已经被旧快照覆盖。

水位就是回填走到哪一行的记录。它要能持久化,重跑时接着上次的位置走。

九、对账(拿新旧两侧逐项比)的三种做法差在哪

对账就是拿新旧两侧的数据逐项比,确认两侧说的是同一件事。

三种做法,成本和能看出多少问题,差一个量级。

  1. 计数比对,比行数和分组计数。便宜,但只能发现量级错误。同一条记录两侧都在、内容不同,它看不见。
  2. 分片校验和,按主键区间或哈希桶聚合。能发现内容差异,也能定位到区间。校验和的输入字段必须先做归一化,否则时间戳、集合顺序会把差异全部淹没。
  3. 逐字段比对。唯一能给出可执行结论的一层,也是唯一应该作为最终验收依据的一层。

十、什么叫「对上了」

难点不在手段,在它永远对不齐。

两侧都在被写,比对时新侧写完、旧侧还没写,就产生一个假差异。

我用两句话来定什么叫做对上了。

在一个冻结写入的时间窗内,逐字段差异为零;窗口外的每一条差异,都能被写入时序解释。

前半句证明映射与转换是对的,后半句证明系统还在正常跑。两半缺一不可。

只看差异条数在往下走,不算对上。变少可能只是因为分母在涨。

还有一件必须事先定的事:差异以哪一侧为准。

这个决定如果在对账跑起来之前不做,等到真有 3000 条差异时,开会两小时没人签字。

十一、对账工具哪些能借、哪些得自己写

工具现状有两条核实过的结论,写在这里是为了省你一次搜索。

逐字段对账这件事,基本得自己写。

之前的文章里常被点名的 sql-schema-diff 仓库已经从 GitHub 消失。sync-diff-inspector 的独立仓库同样 404,但它作为 TiDB 生态的组件,仍在官方文档里维护,经 TiUP 安装。

也就是说,它服务的是那个生态,不是你的 MySQL 异构改造。

所以能借的只有分片取数与限速那一层,比对与差异落库这一层是你的代码。

另一条关于变更日志订阅:如果打算用它做双写,先确认它跑起来的门槛。

这条路上最常被选的那套 Debezium,当前是 3.x 线,运行环境要求 Java 17/21,而且 3.0 是一次跨大版本的破坏性变更。

老平台上挂个订阅就行的预设,很可能先要过一次 JDK 版本的关。

对账脚本本身的要求我复述一遍:分片执行、可中断续跑、按主键区间取数、绝不全表扫、限速依据是主库实时负载,而不是配置里写死的每秒请求数。

它通常要在灰度期每天跑一次,连跑几个星期。灰度期就是先让一小部分流量走新路径的日子。跑不稳,就等于没有结论。

十二、回填为什么要当成在线服务

回填不是跑个脚本。它会持续几十小时地压在生产库上。四件事。

第一,水位表加可重入。断点必须持久化,重跑不产生重复效果。

第二,限流依据是主库实时压力,不是配置里写死一个数。同一批数据,白天和凌晨的余量差好几倍。

第三,与在线写竞争要有明确策略。要么按时间戳跳过已被双写覆盖的行,要么允许被覆盖但保证最终一致。两侧都不选,就会出现回填把新数据写回旧值。

第四,抽样先于全量。先用小样本把映射与归一化跑对,再开全量。全量跑完再发现字段映射错,你要重跑两次。

十三、换读的四步,回退点在哪一步消失

四个阶段,顺序不能跳。

  1. 单读旧,新侧只写不读。
  2. 影子读,读新侧,结果丢弃,只记差异。
  3. 双读比对,仍以旧侧返回给客户端,逐条比对。
  4. 主读新,旧侧只保留写与保底。

前三步都是客户端无感的,风险全在日志里。第四步才是真正换过去。

回退点消失的位置要写清楚:一旦新侧成为唯一写入源,前三步就不复存在了。

这时再退回读,旧侧数据已经不再更新,退回等于读到陈旧数据。

所以主读新这一步的实际风险,比只是改个读开关看起来高得多。

它要求写路径那一边也稳定下来了,而不是两条路一起往前推。

一个常见的错误顺序是:双写刚开、对账还没跑完,就先把读换过去看看有没有问题。

这在本质上就是拿线上用户当测试。

十四、含义漂移清单:数据搬对了,意思变了

项 漂移方式
唯一键来源 一边是数据库自增,一边是应用生成;合并导入即冲突
字符集与排序规则 大小写与重音敏感性不同,等值查询结果集变化
时间精度与时区 毫秒被截断、带时区与不带时区混用、夏令时窗口
NULL 与零值 一边把空串存成 NULL,聚合与索引行为随之不同
枚举与顺序值 按序号持久化的枚举,换语言或换顺序即整体错位
尾部空白与定长列 比较时忽略、存储时保留,两边行为不一致
JSON 与二进制列 键序、精度、空对象与 null 的区分
自增步长与多主 双写期两侧各自增长造成重复或空洞

这一节的每一条,都能安静存活半年才被引爆。

核对方法不是看建表语句,是同一批真实数据在新旧两侧做字节级比对,并同时比对查询结果集。

逻辑相等但字节不同,就是漂移信号。

十五、这一段怎么算做完了

  1. 收缩动作已从改造批次挪到退役批次,而且有明确的执行前置条件。
  2. 双写具备幂等唯一键与版本仲裁,异常路径与提前返回路径都覆盖到。
  3. 对账在一个真实冻结窗口内差异为零,而且窗口外差异逐条可解释。
  4. 回退点消失的位置被写进方案,并被评审人读到过。

第 3 条最耗时,也最不该压缩。

双写完三天就换主读的方案,在评审上应该被要求拿出冻结窗口的差异报表。通常拿不出来。

十六、一点收尾

数据改造和代码改造的区别不是难度,是性质。

代码改造的失败是退回重来,数据改造的失败是得先把世界修回去。

所以顺序上它应当最先设计、最后收尾。

最先,因为前面所有批次的退回方案都依赖它。最后,因为收缩与删除要等到退役才做。

而最后一步没人做这件事,正是下一个遗留系统的出生方式。

引用这一篇
https://www.aryee.cn/archives/legacy-modernization-data-migration.html

转载或引用请注明出处与链接。

你手上那套系统,卡在哪一步?

留个手机号和方便的时间,我打过来先听你说现状和限制,再给一个能执行的判断:这套系统该继续修、该动哪里,还是重做一版更省。

约一次沟通不接纯 UI 外包,只做系统层面的问题。不方便留号码,也可以直接跟助手说一句话。