问问助手

灰度不是进度条,放的是最多赔多少

2026-09-24 Aryee 20

一、灰度不是进度条

灰度放量在改造评审里经常被当成进度:已经放到 30% 了。这个说法把灰度的作用讲反了。

灰度(先把一小部分真实流量放到新系统上)唯一的作用是:把一次大失败换成若干次小失败。

它不提高成功率,也不让改造更快。

判断一个灰度设计合不合格,只看一件事:失败发生时,损失是多少,以及发现它要多久。

这两个数字答不出来,那个百分比就只是进度条。

二、分批放量能分多细:五种做法

越往下,一次出事影响的范围越小,也越好算。

按什么分 前置条件 退回速度 适合什么 代价
按接口 入口统一 秒到分钟 独立读接口,影响范围最好算 接口之间的关联暴露不出来
按参数或请求头 同上,且内部调用能带上这个标识 秒级 定向验证:指定客户、指定测试账号 标识一旦在调用过程里丢失,分流就静默失效
按用户尾号 请求里稳定带用户主键 分钟级 长期小流量观察 同一用户的会话必须始终落同一侧
按租户或客户 有稳定的租户归属 分钟级 B 端、结算类,可控且可通知 大客户一次就成全部
按地域或机房 单元化或就近部署 分钟级 覆盖真实网络与容量差异 一次只挡住一类故障,且样本有偏

三、越往下越可控,但前提更硬

五种做法越往下,对分流用的那个标识要求越高。

这里有一个必须单独确认的隐患:内部调用有没有把用户或者租户的标识带到底。

只要中间有一层换了新对象、丢了这个字段,分流就会静默退化。

被分到新侧的请求仍然正常返回,只是分错了人,而且没有任何报错。

四、先确认分流用的标识有没有丢

我现在的固定动作是,放量前先在新侧打一条命中日志。

把日志里的标识和入口处的分流结果做逐条比对。

对不上就不放量。

这一步花不了多少时间,但它是后面所有百分比能成立的前提。

五、放量先看是哪类操作,不是先看百分比

常见的 1%、10%、50%、100% 是比例节奏,它挡不住最贵的那类问题:某种业务操作一次都没被抽到。

正确的顺序,是先让每一类会出事的操作都被覆盖到,再谈比例。

比例只决定「量多大」,操作类型才决定「最坏能坏成什么样」。

六、四类操作,按风险排先后

  1. 只读接口先放。错了可以立即退回,不留痕迹。
  2. 能重放的写其次。写坏了重放一遍能修回来。
  3. 不能重放的写最后,比如支付、扣减、发券、库存。这类每一次失败都要人工补偿,所以单独占一档,必须配一个明确的负责人和补偿步骤。
  4. 异步与定时任务再单独放。任务侧的分流经常被忘:在线流量放完了,定时任务还在按老路径批量写。

七、观察多久,由最慢的那一项决定

停留时长不该按日历定,比如「观察两天」。

它该由最慢的那个观察角度决定,也就是「本次改造涉及的业务周期有哪些」,取其中最长的一个作为最短观察期。

如果一个问题只有月度结算才暴露,那观察两天毫无意义。

八、开关治理规则一:默认走旧路

先给一个前置判断:2026 年不该再从零自建一套开关平台。

开源自建路线是活跃的,Unleash、Flagsmith 这类都在持续发版。

接口层也已经有了厂商中立的规范 OpenFeature,属于 CNCF 孵化项目,换实现不必改调用代码。

这个领域没有事实标准的平台,但也没有必要再造一个私有标准。改造期你要的是治理规则,不是基础设施。

改造期同时活着的开关数量会失控,而开关本身就是风险源。

规则一:默认值必须走旧路径。

「新行为」要显式打开。反过来设计,也就是默认新、可以关回旧,意味着任何一次配置丢失、任何一个没读到开关的入口,都在跑没经过灰度的代码。

九、开关治理规则二:有主人,有到期日

归属要写到具体的人,不是写到团队。

到期日在立项时就填。

改造结束后没删的开关,会以「看不懂但不敢动」的形式活很多年,变成下一次改造里又一条没写在文档上的约定。

还有一条容易忽略的:能改开关的人,必须能看懂退回去的后果。

开关入口的权限收到运维或者平台手里,实际操作要求两个人。

这不是形式主义。它的真实作用是挡住「在业务高峰前顺手点一下」。

十、开关治理规则三:把组合列全

两个开关就有四种状态,三个是八种。

凡是没被测试过的组合,都是潜在的「A 优先还是 B 优先」问题。

做法很笨但有效:把组合列成表,逐行标注期望结果和是否验证过。

写完贴在设计文档里。绝大多数开关事故的成因,都是这行没标。

十一、回滚第一问:数据退得回去吗

这是最容易在设计阶段被跳过的一问:新实现写下的数据,旧代码还能不能正确读。

答案取决于双向兼容还是单向兼容。

数据改造那篇里说的先扩后收,意思是新代码兼容旧格式,旧代码不保证兼容新格式。

这就意味着一件事:新代码一旦写过数据,退回去就是一扇单向门。

所以回滚设计必须写清两件事之一:旧代码读到新格式的数据时怎么办,或者明确「退回去就是认这批数据赔掉」,并让业务方签字接受。

后者也是合法选项,但它必须在立项时说,而不是在事故中间说。

十二、回滚第二问:正在跑的请求怎么办

换指那一刻正在执行的请求,分三类:已经走进旧路径的、已经走进新路径的、卡在新旧同时写(双写)中间状态的。

第三类要单独设计。

它的具体形态是长事务、消息已经投递但还没消费、任务跑到一半被重启。

标准是:换指之后重启一次,每一笔没完成的任务都完整落在一侧,不会出现同一笔被新旧两侧各做了一半。

这一条只有演练能证明。

十三、回滚第三问:退回来之后差异怎么补

回滚不是终点。

新侧在灰度期内写进去的数据、发出去的消息、变更过的状态,退回来之后必须能逐笔核对(对账)并补齐或者清理。

如果这一问没有答案,那这个回滚是假的。

它只是把流量指回去,然后把不一致留给运维。

一个能回滚的改造,回滚动作后面一定跟着一个数据核对脚本。

十四、演练要计时、留证、换人

回滚演练要满足三个条件,否则它只是走一遍流程。

第一,计时。从决定回滚到最后一个配置生效,全过程多少分钟记下来。这个数字是承诺给业务方的,不是感觉。

第二,留证。每一步的实际执行人、实际动作、和文档不一致的地方。不一致处最有价值。

第三,换人执行。由没有参与改造的人照文档做一遍。

改造者本人演练通过没有任何信息量,因为他会用脑子里那些没写下来的前提。

文档质量只等于陌生人能不能执行。

十五、演练要挑最坏的时点

还有一个反直觉的点:演练要挑最坏时点,不是最干净时点。

在「双写进行到一半、消息积压、部分数据是新格式」的状态下回滚,才是真实事故。

在干净状态演练成功,然后线上出事时退不回去,这种案例我见过不止一次。

十六、自动回滚的阈值从哪来

自动回滚听着很踏实,但它有两个前提:阈值可靠,且退回去不需要人工补偿。

阈值不要拍数字,要从基线来。

取该接口老侧自己的历史波动范围,同一时段纵向比、隔天横向比,把触发线放在这个范围之外。

不要随手写一个整数百分比。

这个范围是怎么算出来的要写清楚,否则两个月后没人知道这个阈值哪来的。

十七、三个指标必须分开看

三个指标必须分开看,不能合成一个「健康度」。

指标 为什么单独看 谁负责判
技术错误率或超时 最快,但假警报最多 可以自动判
业务结果率,比如成功率、通过率 慢,但只有它能证明用户受损 必须有人盯
新旧差异率 灰度期特有,直接指向对不对 由新旧比对的脚本给

阈值要成对设置:触发值和恢复值之间留一段距离。

只写一个值的告警会来回抖,而抖几次之后,值班的人就会开始不信它。这比没有告警更糟。

最后一句:只有纯路由层的换指适合自动回滚。涉及数据写入的,一律人工。

原因是自动机制处理不了上面第三问,差异怎么补。它能把流量退回去,把不一致留在原地。

十八、冻结窗口:把业务日历放进方案

改造排期最常见的低估,是只算自己的发布窗口,不算别人的。

这些日期必须提前列出来并写进方案:月结与出账日、报表与对账跑批日、大促与营销活动日、上游系统的发布日、以及值班最薄弱的时段。

上游改接口约定的时候他们也要发版,这一条最容易被漏掉。

节假日前最后一个工作日,不要放不能重放的写。

冻结期内不接受「就放一小段」的例外。例外一旦开过一次,下一次就没人再拦。

十九、这一段怎么算做完

四条可核对:

  1. 从「决定回滚」到「全部生效」有一次由非改造成员完成的计时记录,且文档与实际操作没有未记录的偏差。
  2. 所有开关的组合表逐行有期望值,且每行都被验证过。
  3. 不能重放的写单独占一档放量,且配有具名的补偿负责人和补偿步骤。
  4. 回滚动作后面有一个可执行的差异核对脚本,跑过一次。

第 1 条最常被省掉,省掉的代价通常要等到真正出事那天才付。

改造方案里,分批放量与回滚的篇幅通常是最少的,因为它最像「运维细节」。

但它其实是整个方案里唯一决定你能不能在中途停下来的部分。

前面的批次怎么放、证据怎么取,决定的是这件事能不能做完。

这一段决定的是,做不完的时候你能不能安全地停下来。

一个没有安全停止能力的项目,评审时就该被判定为不能立项。

引用这一篇
https://www.aryee.cn/archives/legacy-modernization-cutover-rollback.html

转载或引用请注明出处与链接。

你手上那套系统,卡在哪一步?

留个手机号和方便的时间,我打过来先听你说现状和限制,再给一个能执行的判断:这套系统该继续修、该动哪里,还是重做一版更省。

约一次沟通不接纯 UI 外包,只做系统层面的问题。不方便留号码,也可以直接跟助手说一句话。