灰度不是进度条,放的是最多赔多少
一、灰度不是进度条
灰度放量在改造评审里经常被当成进度:已经放到 30% 了。这个说法把灰度的作用讲反了。
灰度(先把一小部分真实流量放到新系统上)唯一的作用是:把一次大失败换成若干次小失败。
它不提高成功率,也不让改造更快。
判断一个灰度设计合不合格,只看一件事:失败发生时,损失是多少,以及发现它要多久。
这两个数字答不出来,那个百分比就只是进度条。
二、分批放量能分多细:五种做法
越往下,一次出事影响的范围越小,也越好算。
| 按什么分 | 前置条件 | 退回速度 | 适合什么 | 代价 |
|---|---|---|---|---|
| 按接口 | 入口统一 | 秒到分钟 | 独立读接口,影响范围最好算 | 接口之间的关联暴露不出来 |
| 按参数或请求头 | 同上,且内部调用能带上这个标识 | 秒级 | 定向验证:指定客户、指定测试账号 | 标识一旦在调用过程里丢失,分流就静默失效 |
| 按用户尾号 | 请求里稳定带用户主键 | 分钟级 | 长期小流量观察 | 同一用户的会话必须始终落同一侧 |
| 按租户或客户 | 有稳定的租户归属 | 分钟级 | B 端、结算类,可控且可通知 | 大客户一次就成全部 |
| 按地域或机房 | 单元化或就近部署 | 分钟级 | 覆盖真实网络与容量差异 | 一次只挡住一类故障,且样本有偏 |
三、越往下越可控,但前提更硬
五种做法越往下,对分流用的那个标识要求越高。
这里有一个必须单独确认的隐患:内部调用有没有把用户或者租户的标识带到底。
只要中间有一层换了新对象、丢了这个字段,分流就会静默退化。
被分到新侧的请求仍然正常返回,只是分错了人,而且没有任何报错。
四、先确认分流用的标识有没有丢
我现在的固定动作是,放量前先在新侧打一条命中日志。
把日志里的标识和入口处的分流结果做逐条比对。
对不上就不放量。
这一步花不了多少时间,但它是后面所有百分比能成立的前提。
五、放量先看是哪类操作,不是先看百分比
常见的 1%、10%、50%、100% 是比例节奏,它挡不住最贵的那类问题:某种业务操作一次都没被抽到。
正确的顺序,是先让每一类会出事的操作都被覆盖到,再谈比例。
比例只决定「量多大」,操作类型才决定「最坏能坏成什么样」。
六、四类操作,按风险排先后
- 只读接口先放。错了可以立即退回,不留痕迹。
- 能重放的写其次。写坏了重放一遍能修回来。
- 不能重放的写最后,比如支付、扣减、发券、库存。这类每一次失败都要人工补偿,所以单独占一档,必须配一个明确的负责人和补偿步骤。
- 异步与定时任务再单独放。任务侧的分流经常被忘:在线流量放完了,定时任务还在按老路径批量写。
七、观察多久,由最慢的那一项决定
停留时长不该按日历定,比如「观察两天」。
它该由最慢的那个观察角度决定,也就是「本次改造涉及的业务周期有哪些」,取其中最长的一个作为最短观察期。
如果一个问题只有月度结算才暴露,那观察两天毫无意义。
八、开关治理规则一:默认走旧路
先给一个前置判断:2026 年不该再从零自建一套开关平台。
开源自建路线是活跃的,Unleash、Flagsmith 这类都在持续发版。
接口层也已经有了厂商中立的规范 OpenFeature,属于 CNCF 孵化项目,换实现不必改调用代码。
这个领域没有事实标准的平台,但也没有必要再造一个私有标准。改造期你要的是治理规则,不是基础设施。
改造期同时活着的开关数量会失控,而开关本身就是风险源。
规则一:默认值必须走旧路径。
「新行为」要显式打开。反过来设计,也就是默认新、可以关回旧,意味着任何一次配置丢失、任何一个没读到开关的入口,都在跑没经过灰度的代码。
九、开关治理规则二:有主人,有到期日
归属要写到具体的人,不是写到团队。
到期日在立项时就填。
改造结束后没删的开关,会以「看不懂但不敢动」的形式活很多年,变成下一次改造里又一条没写在文档上的约定。
还有一条容易忽略的:能改开关的人,必须能看懂退回去的后果。
开关入口的权限收到运维或者平台手里,实际操作要求两个人。
这不是形式主义。它的真实作用是挡住「在业务高峰前顺手点一下」。
十、开关治理规则三:把组合列全
两个开关就有四种状态,三个是八种。
凡是没被测试过的组合,都是潜在的「A 优先还是 B 优先」问题。
做法很笨但有效:把组合列成表,逐行标注期望结果和是否验证过。
写完贴在设计文档里。绝大多数开关事故的成因,都是这行没标。
十一、回滚第一问:数据退得回去吗
这是最容易在设计阶段被跳过的一问:新实现写下的数据,旧代码还能不能正确读。
答案取决于双向兼容还是单向兼容。
数据改造那篇里说的先扩后收,意思是新代码兼容旧格式,旧代码不保证兼容新格式。
这就意味着一件事:新代码一旦写过数据,退回去就是一扇单向门。
所以回滚设计必须写清两件事之一:旧代码读到新格式的数据时怎么办,或者明确「退回去就是认这批数据赔掉」,并让业务方签字接受。
后者也是合法选项,但它必须在立项时说,而不是在事故中间说。
十二、回滚第二问:正在跑的请求怎么办
换指那一刻正在执行的请求,分三类:已经走进旧路径的、已经走进新路径的、卡在新旧同时写(双写)中间状态的。
第三类要单独设计。
它的具体形态是长事务、消息已经投递但还没消费、任务跑到一半被重启。
标准是:换指之后重启一次,每一笔没完成的任务都完整落在一侧,不会出现同一笔被新旧两侧各做了一半。
这一条只有演练能证明。
十三、回滚第三问:退回来之后差异怎么补
回滚不是终点。
新侧在灰度期内写进去的数据、发出去的消息、变更过的状态,退回来之后必须能逐笔核对(对账)并补齐或者清理。
如果这一问没有答案,那这个回滚是假的。
它只是把流量指回去,然后把不一致留给运维。
一个能回滚的改造,回滚动作后面一定跟着一个数据核对脚本。
十四、演练要计时、留证、换人
回滚演练要满足三个条件,否则它只是走一遍流程。
第一,计时。从决定回滚到最后一个配置生效,全过程多少分钟记下来。这个数字是承诺给业务方的,不是感觉。
第二,留证。每一步的实际执行人、实际动作、和文档不一致的地方。不一致处最有价值。
第三,换人执行。由没有参与改造的人照文档做一遍。
改造者本人演练通过没有任何信息量,因为他会用脑子里那些没写下来的前提。
文档质量只等于陌生人能不能执行。
十五、演练要挑最坏的时点
还有一个反直觉的点:演练要挑最坏时点,不是最干净时点。
在「双写进行到一半、消息积压、部分数据是新格式」的状态下回滚,才是真实事故。
在干净状态演练成功,然后线上出事时退不回去,这种案例我见过不止一次。
十六、自动回滚的阈值从哪来
自动回滚听着很踏实,但它有两个前提:阈值可靠,且退回去不需要人工补偿。
阈值不要拍数字,要从基线来。
取该接口老侧自己的历史波动范围,同一时段纵向比、隔天横向比,把触发线放在这个范围之外。
不要随手写一个整数百分比。
这个范围是怎么算出来的要写清楚,否则两个月后没人知道这个阈值哪来的。
十七、三个指标必须分开看
三个指标必须分开看,不能合成一个「健康度」。
| 指标 | 为什么单独看 | 谁负责判 |
|---|---|---|
| 技术错误率或超时 | 最快,但假警报最多 | 可以自动判 |
| 业务结果率,比如成功率、通过率 | 慢,但只有它能证明用户受损 | 必须有人盯 |
| 新旧差异率 | 灰度期特有,直接指向对不对 | 由新旧比对的脚本给 |
阈值要成对设置:触发值和恢复值之间留一段距离。
只写一个值的告警会来回抖,而抖几次之后,值班的人就会开始不信它。这比没有告警更糟。
最后一句:只有纯路由层的换指适合自动回滚。涉及数据写入的,一律人工。
原因是自动机制处理不了上面第三问,差异怎么补。它能把流量退回去,把不一致留在原地。
十八、冻结窗口:把业务日历放进方案
改造排期最常见的低估,是只算自己的发布窗口,不算别人的。
这些日期必须提前列出来并写进方案:月结与出账日、报表与对账跑批日、大促与营销活动日、上游系统的发布日、以及值班最薄弱的时段。
上游改接口约定的时候他们也要发版,这一条最容易被漏掉。
节假日前最后一个工作日,不要放不能重放的写。
冻结期内不接受「就放一小段」的例外。例外一旦开过一次,下一次就没人再拦。
十九、这一段怎么算做完
四条可核对:
- 从「决定回滚」到「全部生效」有一次由非改造成员完成的计时记录,且文档与实际操作没有未记录的偏差。
- 所有开关的组合表逐行有期望值,且每行都被验证过。
- 不能重放的写单独占一档放量,且配有具名的补偿负责人和补偿步骤。
- 回滚动作后面有一个可执行的差异核对脚本,跑过一次。
第 1 条最常被省掉,省掉的代价通常要等到真正出事那天才付。
改造方案里,分批放量与回滚的篇幅通常是最少的,因为它最像「运维细节」。
但它其实是整个方案里唯一决定你能不能在中途停下来的部分。
前面的批次怎么放、证据怎么取,决定的是这件事能不能做完。
这一段决定的是,做不完的时候你能不能安全地停下来。
一个没有安全停止能力的项目,评审时就该被判定为不能立项。