服务挂过一次,要不要花钱做双活
服务挂过一次,要不要花钱做双活
一、先把结论摆出来
你要买的东西不是「不挂」,是「挂了之后多久回来,回来时数据是不是完整的」。
双活只是买到这件东西的四五种方式里最贵的一种。很多情况下,你花的钱大部分买的是心理安慰。
二、挂过一次之后谈,时机最好
刚挂过一次,其实是谈这件事最好的时候,因为你手上有真实数字。
怕的是把那次故障直接翻译成「上双活」,中间那一步算账省掉了。钱花完,下一次故障的恢复时间并没有变短。
三、三个词,价格差一个数量级
先把三个词分清:备份、冷备、同城双活。
这三档的可用性数字看着只差几个 9,价格却是台阶式往上跳的。
多数讨论坏在第一步:把「我们要不要做高可用」当成一个是非题,而不是先问清要买哪一种。
四、备份:数据在,服务不在
备份的意思是数据还在,服务已经没了。
机房着火,你能从对象存储里把数据库捞回来,但要重搭环境、改配置、灌数据,恢复时间按小时甚至按天算。
绝大多数说「我们有备份」的系统,实际买的就是这一种。
五、冷备:多养一套不接流量的环境
冷备或者温备,是多养一套不接流量的环境。
真出事时靠人换过去:改域名、起服务、把数据库指向新的主库。
它的成本是多一套资源,加上一次换过去要有人在场。收益是把恢复时间从「重搭」缩到「换过去」。
这一种最容易坏在细节上。备用环境是三个月前建的,这三个月里线上加了两个字段、换了一版中间件,真换过去时起不来。
六、同城双活:两套都接流量
同城双活是两套都在接流量。任何一套挂掉,另一套自动承接,用户理论上无感。
成本是前两种的总和,再加一大截。加的那一大截不是机器。
七、双活贵的第一处:冗余资源
冗余资源是唯一算得清、也最容易被当成全部成本的一块。
同城两套都在接流量,正常时各自承担约一半峰值,所以资源量不是 2 倍,而是 2 倍再多留一点余量。一套全挂时,另一套要能扛住全量峰值。
按量计费的云资源、双份带宽、双份监控与日志接入,都算在这一块里。
这笔钱是一次性支出、年年重复的固定成本。谈预算时最醒目,所以老板看到的「双活很贵」通常就是指它。但它往往只占双活总成本的三分之一不到。
八、贵的第二处:数据一致性改造
数据一致性改造才是大头,而且贵得很隐蔽。
单活时,你的数据库、缓存、消息队列都默认只有一个地方在写。
这个假设写进了系统的每一层:靠自增主键生成的单号、靠数据库唯一约束保底的去重、靠「先更新库再删缓存」这种顺序假设的缓存逻辑、靠事务保证的跨表一致性。
一旦两地都能写,这些假设全部失效。
同一个单号可能在两地各自生成。同一条记录可能在两地被改成不同值。消息可能被两地各消费一次。
要修,就得把写路径逐条过一遍:幂等键、冲突合并规则、时序依赖、跨区延迟下的读己之写。
这是一次覆盖全部业务写入的改造,不是运维能自己完成的,需要每个业务模块动手。
九、数据能不能分区,先划一道线
如果你的数据本来就能分开,按租户、按地域、按业务线,让每份数据只有一个主写区,两地各写各的,那一致性代价会掉一大截。
这就是判断双活贵不贵的第一道分界:能分区的才是便宜的双活,不能分区的双活,买的是数据库团队的排期。
十、贵的第三处:长期演练与人力
双活不是上线那天成立,是每一次变更之后仍然成立。
真实故障里最常见的画面是这样的:换过去的脚本上一次被完整跑通是两年前;DNS 的 TTL 设成了 600 秒,等于换过去至少要等十分钟生效;连接池配置里写死了某个内网地址;证书轮换后两地不一致。
这些都不会在评审的演示文稿上出现,只会在凌晨三点出现。
要维持双活,你得定期真的换一次。白天没人敢换,半夜换就得有人值班,还要有人对换过去的结果负责。
这一项是长期的人力成本,通常比资源费更让财务意外,因为它不出现在采购单上。
十一、停机一小时赔多少钱:三类系统
值不值,取决于这一个数字。三类系统的算法完全不同,别混着算。
收入直连型:下单、支付、结算、对外接口计费。挂一小时约等于少收一小时的钱,再叠加转化流失。用户在你这儿下不了单,他不会等你,他去对手那儿了,这部分人不会回来。
这类系统算出来的数字最有说服力,也最容易撑住双活的预算。
效率型:内部系统、后台、报表、审批流。挂一小时的损失,等于受影响人数乘一小时人力成本,再乘无法绕过的比例。
注意最后那个系数。如果销售可以回手写单子、财务可以第二天补录,真实损失比「全员停摆」小得多。这类系统上双活,账常常算不过来。不是双活不好,是你买的东西比需要的贵。
合规型:数据不能丢、要留痕、有上报义务。这一类的关键不是「挂多久」,是「丢不丢」。
挂四小时但数据一条不少,可能完全没事。反过来,一次数据丢失就是罚则和客户信任。这类系统该把钱花在备份可恢复性和恢复演练上。
双活对「数据不丢」的贡献,远小于它对「服务不断」的贡献。很多人把这两件事当成一件,钱就花错方向了。
十二、一个简单的账:年停机损失对年成本
算法很简单:年预期停机小时乘每小时损失,对比双活的年成本、一致性改造的一次性投入、每年演练的人力。
前者小于后者,双活就不该是这一轮的答案。
前者明显大于后者,再往下谈。
十三、别拿行业平均当自己的数
这里有个坑要提醒:别拿「行业平均可用性」,或者供应商演示文稿里的 99.99%,当作自己的代入值。
你手上那次故障就是真实数据。它挂了多久、影响了多少人、赔了什么,一次样本也比没有样本强。
十四、比双活便宜的四件事:数据库高可用
多数中小规模的系统,真正该做的不是把可用性堆高,而是把恢复时间压下来。
下面四件事的成本都在双活的一个零头以内,收益当天可见。
第一件,把数据库做成能自动换主的高可用。
整套系统里最致命的单点通常不是应用。应用挂了,重启、替换、扩容都很便宜。数据库挂了,写不进去、读不出来,恢复还牵涉数据完整性。
主从加自动故障转移,比双活便宜一个量级,却正好打在最疼的那一点上。
十五、先跨可用区,再谈跨城
第二件,先跨可用区,再谈跨城。
同一个地域内的多个可用区之间,延迟只有毫秒级,你的数据一致性假设基本不用改。
跨城就是另一个物理世界。几十毫秒的往返,会把前面说的一致性改造成本全部激活。
对绝大多数业务,跨可用区已经消灭了「整个机房没了」这一类风险。剩下的「整个城市出问题」,概率低到不值得为它重构写路径。
十六、应用无状态,恢复从修机器变成再起十台
第三件,让应用层无状态,能快速扩出一份。
会话、文件、临时状态只要落在应用实例本地,恢复就得靠「那台机器回来」。
把这些状态挪到外部存储之后,恢复动作从「修一台机器」变成「再起十台」。后者是云厂商最擅长的事。
十七、切换预案与季度演练
第四件,写一份换过去的预案,并且每季度真的演练一次。
这一件几乎不花钱,但它决定前三件在真实故障里到底生不生效。
预案要写到「谁在什么条件下点哪个按钮」这个具体程度,而不是「由运维团队负责处理」。
演练的标准也很实在:从故障发生到服务恢复,秒表量一次,看时间花在哪一步。通常是等人、等权限、等一个没写在预案里的确认。
十八、确实该上双活的四个条件
一,停机直接等于收入损失,而且每小时损失乘年预期停机小时,明显大于双活的年总成本。
二,合同或监管层面对可用性有明确要求,罚则是明确的、可执行的。
三,用户分布在多个地域,单一地域故障的影响面大到不可接受。
四,数据能分区,每份数据只有一个主写区,不需要处理跨区写冲突。
四条里最后一条是前提。前三条决定值不值,最后一条决定做不做得起。
如果数据分不开,同城双活的项目排期会从「运维配个环境」变成「所有业务模块改一轮」。报价单上那一行数字只是开始。
十九、三个自查问题与这一轮的决定
第一问:你上一次故障,从发生到恢复具体是多久?这段时间里,多少是技术恢复时间,多少是「找到能作决定的人、拿到权限、决定换不换」?如果后者占一半以上,你现在最该买的不是双活,是一份预案。
第二问:你的系统里,去掉应用之后还剩几个单点?把这些单点列出来,通常只剩三个:数据库、消息或队列、外部依赖,比如第三方接口、证书、DNS。双活是一次性把三个都解决,但多数预算只够解决第一个。
第三问:如果明天整个机房消失,你多久能重新有一套能对外服务的系统?答不出具体小时数,说明备份的可恢复性从来没被验证过。这一项比双活便宜得多,也危险得多。
这一轮的决定可以按三句话来:
先分清要买哪一种:备份、冷备、双活,价格台阶式上涨,收益不是线性的。
双活的成本大头不是那两份机器,是数据一致性改造和长期演练人力。判断贵不贵,先看数据能不能分区。
多数非收入直连的系统,这一轮的答案应该是那四件便宜事:数据库高可用、跨可用区、应用无状态化、写下来并季度演练的预案。
四个条件都满足再上双活,尤其别跳过最后一条。数据分不开的双活,做的是数据库团队的排期,不是可用性。