数据改造四步:哪一步之后就退不回去了
改造方案里,数据这一节应该排在最难的位置,而不是最后。
原因很简单:代码改坏了能退回去,写歪的数据退不回去。
一个项目的退回设计能不能成立,几乎全部取决于数据这一段怎么设计。
下面按四步走,每步只讲它会失败在哪里。
一、为什么数据这一节要最先设计
因为前面所有批次的退回方案,都依赖数据这一段。
代码可以打包回旧版本,配置可以改回去。数据一旦按新格式写进去,旧版本不一定读得懂。
所以数据方案不是收尾工作。它要在第一个批次动手之前就定下来。
二、先扩后收的三段各做什么
库结构改造的标准三段是:先扩展,然后迁移,最后收缩。
先加上新列新表,不动旧的。再把读写逐步挪过去。最后删掉不再使用的部分。
这套做法叫 Parallel Change。最早由 Joshua Kerievsky 在 2006 年提出,2014 年由 Danilo Sato 写成条目,收进 Martin Fowler 的术语页。
它不是某个云厂商的内部实践,是十几年前的公开方法。原文也老实列了代价:迁移期新旧两个版本并存,会让外部调用方困惑。
三、收缩为什么必须等到退役
收缩必须在所有实例都跑在新代码之后。
滚动发布、任务实例、退回用的旧版本包,任何一处还在跑旧代码,收缩都会把它打挂。
所以收缩的正确归属是退役批次,不是改造批次。
这个模式的一手表述比我这里更严格:不执行收缩阶段,你会停在一个比动手前更糟的状态。
原文用的是一句英文,意思是比开始时更糟,并明确要求完成转换的纪律。
我原来写成僵尸列的风险,实际是这条警告的具体形态:新旧两套字段同时存活很多年,没人知道哪个是真的,也没人敢删。
所以收缩要写进改造批次,带自己的验收条件。退役清单另有一篇专门讲。
四、收缩前要核实哪三件事
收缩能不能安全执行,还取决于你所用数据库对该类改表操作的在线支持。
这一条我核实过 MySQL 现在的实际情况。
8.4 起,加列和删列的默认算法就是 INSTANT。行版本数上限为 64,9.0 起提到 255。
达到上限时,INSTANT 会直接报错,并要求改用 INPLACE 或 COPY,不会静默降级。这一点我此前记错过一次,误以为它会自动回退成在线执行。
所以老库要不要上第三方在线改表工具,这个问题仍然成立。但要看三条具体的:版本够不够新、这条改表语句属于哪一类操作、目标表是不是已经快到行版本上限。
纪律不变:按当前版本加当前这一条改表语句,在生产同构库上实测一次再决定。
凭印象决定,最坏结果是在业务高峰把主库锁住。
五、双写(新旧两侧同时写)挂在哪一层,差别在哪
| 实现位置 | 一致性 | 典型失败 | 什么时候用 |
|---|---|---|---|
| 应用层内联双写 | 最弱,两步之间可失败 | 第二写失败被 catch 掉,只写成功路径 | 过渡初期,且必须配补偿 |
| 本地消息表 | 写与消息同事务,投递最终一致 | 消费者不幂等,重投即重复 | 默认选它 |
| 变更日志订阅 | 不侵入业务代码 | 拿不到业务语义,改表即断,顺序依赖单流 | 目标是同步或迁移,不是改造逻辑 |
| 库端触发器 | 覆盖所有写入来源,含手工 SQL | 逻辑藏在库里、难以版本化、性能不可控 | 只作为保底,且限期撤掉 |
本地消息表也叫 outbox,意思是把要发出去的消息先和业务数据写在同一个事务里,再由后台任务送出去。
应用层内联那一行值得展开,因为它的四种失败模式,几乎每个项目都会踩到其中一种。
六、应用层内联双写会踩到哪四种失败
第一,只在成功路径上写了第二份。异常分支、参数校验失败、重复请求命中后提前返回,这些路径都漏写。
第二,事务退回只退了一侧。新库在同一事务里,旧库在事务外或跨库,于是旧侧退了,新侧留下脏数据。
第三,外部调用被重复执行。双写的重试把发一次短信、扣一次款变成两次。这是唯一一类退回也补不回来的失败。
第四,顺序错乱。更新比插入先到达,两条路径、两个分区键、并发重试都可能造成。结果新侧有一条陈旧数据,或者一条孤儿记录。
七、双写的正确设计是什么样
正确的设计不是两侧都写,而是每条写入有幂等唯一键,冲突时用版本仲裁,而不是最后写入者胜。
幂等的意思是,同一个请求重复到达时只生效一次。
用最后写入者胜的前提,是你确认可以丢更新。绝大多数业务不允许,但代码看起来很像允许,因为本地测试永远是顺序的。
八、先开双写还是先回填历史
顺序上还有一个前置问题:先回填历史,再开双写,还是反过来。
答案是先开双写,再回填历史。回填按水位跳过双写窗口内的数据。
反过来会丢:双写开启前那一刻的写入,在回填结束时已经被旧快照覆盖。
水位就是回填走到哪一行的记录。它要能持久化,重跑时接着上次的位置走。
九、对账(拿新旧两侧逐项比)的三种做法差在哪
对账就是拿新旧两侧的数据逐项比,确认两侧说的是同一件事。
三种做法,成本和能看出多少问题,差一个量级。
- 计数比对,比行数和分组计数。便宜,但只能发现量级错误。同一条记录两侧都在、内容不同,它看不见。
- 分片校验和,按主键区间或哈希桶聚合。能发现内容差异,也能定位到区间。校验和的输入字段必须先做归一化,否则时间戳、集合顺序会把差异全部淹没。
- 逐字段比对。唯一能给出可执行结论的一层,也是唯一应该作为最终验收依据的一层。
十、什么叫「对上了」
难点不在手段,在它永远对不齐。
两侧都在被写,比对时新侧写完、旧侧还没写,就产生一个假差异。
我用两句话来定什么叫做对上了。
在一个冻结写入的时间窗内,逐字段差异为零;窗口外的每一条差异,都能被写入时序解释。
前半句证明映射与转换是对的,后半句证明系统还在正常跑。两半缺一不可。
只看差异条数在往下走,不算对上。变少可能只是因为分母在涨。
还有一件必须事先定的事:差异以哪一侧为准。
这个决定如果在对账跑起来之前不做,等到真有 3000 条差异时,开会两小时没人签字。
十一、对账工具哪些能借、哪些得自己写
工具现状有两条核实过的结论,写在这里是为了省你一次搜索。
逐字段对账这件事,基本得自己写。
之前的文章里常被点名的 sql-schema-diff 仓库已经从 GitHub 消失。sync-diff-inspector 的独立仓库同样 404,但它作为 TiDB 生态的组件,仍在官方文档里维护,经 TiUP 安装。
也就是说,它服务的是那个生态,不是你的 MySQL 异构改造。
所以能借的只有分片取数与限速那一层,比对与差异落库这一层是你的代码。
另一条关于变更日志订阅:如果打算用它做双写,先确认它跑起来的门槛。
这条路上最常被选的那套 Debezium,当前是 3.x 线,运行环境要求 Java 17/21,而且 3.0 是一次跨大版本的破坏性变更。
老平台上挂个订阅就行的预设,很可能先要过一次 JDK 版本的关。
对账脚本本身的要求我复述一遍:分片执行、可中断续跑、按主键区间取数、绝不全表扫、限速依据是主库实时负载,而不是配置里写死的每秒请求数。
它通常要在灰度期每天跑一次,连跑几个星期。灰度期就是先让一小部分流量走新路径的日子。跑不稳,就等于没有结论。
十二、回填为什么要当成在线服务
回填不是跑个脚本。它会持续几十小时地压在生产库上。四件事。
第一,水位表加可重入。断点必须持久化,重跑不产生重复效果。
第二,限流依据是主库实时压力,不是配置里写死一个数。同一批数据,白天和凌晨的余量差好几倍。
第三,与在线写竞争要有明确策略。要么按时间戳跳过已被双写覆盖的行,要么允许被覆盖但保证最终一致。两侧都不选,就会出现回填把新数据写回旧值。
第四,抽样先于全量。先用小样本把映射与归一化跑对,再开全量。全量跑完再发现字段映射错,你要重跑两次。
十三、换读的四步,回退点在哪一步消失
四个阶段,顺序不能跳。
- 单读旧,新侧只写不读。
- 影子读,读新侧,结果丢弃,只记差异。
- 双读比对,仍以旧侧返回给客户端,逐条比对。
- 主读新,旧侧只保留写与保底。
前三步都是客户端无感的,风险全在日志里。第四步才是真正换过去。
回退点消失的位置要写清楚:一旦新侧成为唯一写入源,前三步就不复存在了。
这时再退回读,旧侧数据已经不再更新,退回等于读到陈旧数据。
所以主读新这一步的实际风险,比只是改个读开关看起来高得多。
它要求写路径那一边也稳定下来了,而不是两条路一起往前推。
一个常见的错误顺序是:双写刚开、对账还没跑完,就先把读换过去看看有没有问题。
这在本质上就是拿线上用户当测试。
十四、含义漂移清单:数据搬对了,意思变了
| 项 | 漂移方式 |
|---|---|
| 唯一键来源 | 一边是数据库自增,一边是应用生成;合并导入即冲突 |
| 字符集与排序规则 | 大小写与重音敏感性不同,等值查询结果集变化 |
| 时间精度与时区 | 毫秒被截断、带时区与不带时区混用、夏令时窗口 |
| NULL 与零值 | 一边把空串存成 NULL,聚合与索引行为随之不同 |
| 枚举与顺序值 | 按序号持久化的枚举,换语言或换顺序即整体错位 |
| 尾部空白与定长列 | 比较时忽略、存储时保留,两边行为不一致 |
| JSON 与二进制列 | 键序、精度、空对象与 null 的区分 |
| 自增步长与多主 | 双写期两侧各自增长造成重复或空洞 |
这一节的每一条,都能安静存活半年才被引爆。
核对方法不是看建表语句,是同一批真实数据在新旧两侧做字节级比对,并同时比对查询结果集。
逻辑相等但字节不同,就是漂移信号。
十五、这一段怎么算做完了
- 收缩动作已从改造批次挪到退役批次,而且有明确的执行前置条件。
- 双写具备幂等唯一键与版本仲裁,异常路径与提前返回路径都覆盖到。
- 对账在一个真实冻结窗口内差异为零,而且窗口外差异逐条可解释。
- 回退点消失的位置被写进方案,并被评审人读到过。
第 3 条最耗时,也最不该压缩。
双写完三天就换主读的方案,在评审上应该被要求拿出冻结窗口的差异报表。通常拿不出来。
十六、一点收尾
数据改造和代码改造的区别不是难度,是性质。
代码改造的失败是退回重来,数据改造的失败是得先把世界修回去。
所以顺序上它应当最先设计、最后收尾。
最先,因为前面所有批次的退回方案都依赖它。最后,因为收缩与删除要等到退役才做。
而最后一步没人做这件事,正是下一个遗留系统的出生方式。