老路撤了,Kafka 要不要跟着动
老路撤了,Kafka 要不要跟着动
先把结论说在前面:这件事真正解决的问题,是谁来接管那三台只用来存集群目录的机器,不是 Kafka 要不要换。
手上还挂着 ZooKeeper 的,可以不用赶,但别再给这条路加新依赖。
一、发生了什么:一条旧路撤了
Apache Kafka 4.0 在 2025 年 3 月发布。对多数使用方只有两件事要记:ZooKeeper 支持被彻底移除,Java 8 也不再支持。
以前是二选一,现在剩一条路,叫 KRaft。
两条改动放在一起看,意思不是新增一种模式,而是撤掉旧的那条。
二、别把「路撤了」听成「必须搬家」
官方 4.1 的升级文档里,从 ZooKeeper 模式迁到 KRaft 仍然是一个正经章节。
写 Kafka 的人清楚存量有多大,所以给的是迁移路径,不是最后通牒。
路撤了是真的,你必须今天就搬是假的。
三、云厂商补上了最贵的一段
Amazon MSK 在 2026 年 8 月公告,支持 ZooKeeper 到 KRaft 的就地升级。
在这之前,这类迁移的默认做法是新旧两套集群并行:起一套新的,新旧同时写,读请求转到新的,再退掉旧的。
就地升级不消灭风险,但它直接减少了这件事对机器数量和变更窗口时长的要求。
四、我的判断:只完成了一半
Kafka 官方撤了旧路,运维侧的低成本迁移方法是刚到的。
两件事凑齐之后,跟的决策门槛比前两年低了一档。
这才是今年值得重新评估的原因,不是版本号本身。
五、真正要算的账不在 Kafka
先把你跑的 Kafka 放一边。它大概率是当初引入版本之上的某个状态,动它要排队。
真正值得单独算的,是旁边那套 ZooKeeper。
Kafka 用 ZooKeeper 的时候,它只干一件事:存集群元数据,选控制器。
六、ZooKeeper 替你养了三台机器
你为一套目录服务,养了三台机器,这是最小起步配置。
这套目录服务的数据量不大,但它要求你把它当成一套独立系统来对待:安装、配置、监控、打补丁、做备份,一样都不能少。
你还要维持看得懂 ZooKeeper 的运维经验。这条经验在 KRaft 模式的 Kafka 上用不上,在别的系统里也越来越少有人用。
每一次和 Kafka 相关的动作,升级、改配置、机房搬迁、故障演练,都多牵出一层。
这一层的补丁、监控、告警不归 Kafka 管,又很容易被当成 Kafka 的事。
七、最贵的是没有明确归属
最后一条最重,而且在架构图上完全看不出来。
ZooKeeper 不在 Kafka 的运维清单里,实际运维它的往往是通用中间件团队,或者搭它的人走了之后没人接。
最贵的一类组件,就是这种担着关键职责、却没有明确归属的。
八、升级列车让窗口越来越少
ZooKeeper 模式的 Kafka,每次版本升级都要两层一起回归:Kafka 本体一遍,ZK 兼容性一遍,中间还夹着客户端协议的兼容组合。
这意味着这套集群能动的窗口比 KRaft 集群更少,每次改动的验证人天更多。
如果你的 Kafka 已经停在旧版本两三年没动,原因很可能不是不想动,而是每次评估都发现,动一次的代价接近动两次。
旧路撤了之后,这笔账不会变小,只会随着落后年限累积。
九、把问题换个问法
要不要跟,可以先改写成另一个问题。
那套 ZooKeeper 现在还活着,理由是不是只剩 Kafka 的元数据。
如果答案是「是」,那你每个季度都在为一种已经退场的架构付租金。
付的不只是机器,还有持续分散出去的运维注意力。
十、跟与不跟,看这几条
这张表可以在机房里直接核对,不需要预测趋势。
| 跟,排进今年的窗口 | 不跟,明年再看 |
|---|---|
| 机房里 ZooKeeper 的唯一使用方就是 Kafka | 同一套 ZK 还挂着别的服务的注册或配置 |
| Kafka 版本已经落后到安全补丁覆盖不到 | 在跑的版本稳定,且在官方支持范围内 |
| 用云托管实例,且托管侧已支持就地迁到 KRaft | 自建集群,且拿不出两套同时跑的备用机器 |
| 运行环境里还有 Java 8,JVM 升级反正躲不掉 | 运行时已是较新的长期支持版,没有版本欠账 |
| 接手方刚发生过变动,没人说得清那套 ZK | 有一个团队对 Kafka 全流程负责到底 |
十一、两个容易被低估的条件
Java 8 那一条。Kafka 4.0 不支持 Java 8,对还在 8 上的存量系统,这是一次被迫的捆绑迁移:想跟 Kafka,就得先动 JVM。
反过来说,如果今年本来就有 JVM 升级计划,搭车做比单独立项省一个窗口。
如果今年不动 JVM,跟就自然排到明年之后,不必焦虑。
接手方那一条。ZooKeeper 模式的 Kafka 集群最脆弱的状态,是全公司没人对那套集群负责。
这种情况下,迁移本身就是还经验债的机会。
KRaft 把元数据和控制器收回 Kafka 进程内,运维知识重新归一个团队,注意力成本一次性结清。
十二、两个条件都对不上,就不动
如果 ZK 还有别的用途,版本也还新,那正确答案就是不动。
等这套 ZooKeeper 的其他使用方各自退场之后,再回来收尾。
动一半比不动更贵。
十三、真要跟,按四步估
如果表里左边对上了,用固定的四步来估改动量,避免把它估成一次大项目。
-
清点。 把所有依赖这套 ZK 的东西列出来,确认 Kafka 的元数据是不是唯一用途。顺手确认生产者和消费者客户端的版本分布,老客户端往往是排期的最大制约。
-
选路径。 自建集群按官方迁移章节走标准路径。托管实例只要控制台侧支持就地升级,就优先就地。这两条路的成本差在表里已经说过,不需要重新发明评估方法。
-
写回退预案。 迁移过程出问题退到哪一步,元数据以哪边为准,这些必须在动手之前落在纸上,不是等到故障里再讨论。
-
留观察期。 迁移完成后保留一个完整业务周期,重点看控制器在节点故障和负载重新分配时的行为,和旧版本时期做对比。
这四步合起来,对一个中等规模的集群,通常是数个人天的改动,加一个观察月的注意力。
这就是决策门槛降了一档的意思:主要成本在排期和预案上,不在技术难度上。
真正做不动的,从来都是表右边那些情况。
十四、还没上 Kafka 的团队怎么选
另一半读者没有历史包袱,那这件事只剩一个问题:第一次引入,怎么选。
我的顺序是这样。
-
先分清要的是业务消息队列,还是日志流。多数业务系统的异步处理、事务消息、削峰场景,RocketMQ 这类专门做消息的组件覆盖得更直接,部署形态也更少。
-
再核对数据量和生态需求。Kafka 的长处是高吞吐的日志流,以及围绕它的连接器、流处理、入湖工具。只拿来发几个异步任务,长处用不上,付的却是完整一套集群的成本。
-
最后才讨论自建还是用托管。托管拿走的恰好就是控制器和元数据这一层,也正是这类事件一直在减少的东西。小团队在这上面没有规模优势。
给还没起步的系统一条硬规矩:新选型里,ZooKeeper 只应该出现在减分项里。
它不再是通用的分布式协调设施,现在的主要身份是少数旧版本 Kafka 的元数据存储。
这正是 KRaft 对你们比对存量用户更大的意义:消息队列从一个两件套的运维问题,变回一件套的运维问题。
十五、一句收尾
Kafka 撤的是 ZooKeeper 那条路,不是你的迁移义务。
先去查清楚机房里那套 ZooKeeper 还在支撑什么。
如果答案只剩 Kafka 的元数据,就把它排进今年的计划。
因为迁移方式第一次降到了「一次变更窗口」的量级,不是「起一套新集群」的量级。
这种时间窗不会一直开着。