问问助手

老路撤了,Kafka 要不要跟着动

2026-09-27 Aryee 10

老路撤了,Kafka 要不要跟着动

先把结论说在前面:这件事真正解决的问题,是谁来接管那三台只用来存集群目录的机器,不是 Kafka 要不要换。

手上还挂着 ZooKeeper 的,可以不用赶,但别再给这条路加新依赖。

一、发生了什么:一条旧路撤了

Apache Kafka 4.0 在 2025 年 3 月发布。对多数使用方只有两件事要记:ZooKeeper 支持被彻底移除,Java 8 也不再支持。

以前是二选一,现在剩一条路,叫 KRaft。

两条改动放在一起看,意思不是新增一种模式,而是撤掉旧的那条。

二、别把「路撤了」听成「必须搬家」

官方 4.1 的升级文档里,从 ZooKeeper 模式迁到 KRaft 仍然是一个正经章节。

写 Kafka 的人清楚存量有多大,所以给的是迁移路径,不是最后通牒。

路撤了是真的,你必须今天就搬是假的。

三、云厂商补上了最贵的一段

Amazon MSK 在 2026 年 8 月公告,支持 ZooKeeper 到 KRaft 的就地升级。

在这之前,这类迁移的默认做法是新旧两套集群并行:起一套新的,新旧同时写,读请求转到新的,再退掉旧的。

就地升级不消灭风险,但它直接减少了这件事对机器数量和变更窗口时长的要求。

四、我的判断:只完成了一半

Kafka 官方撤了旧路,运维侧的低成本迁移方法是刚到的。

两件事凑齐之后,跟的决策门槛比前两年低了一档。

这才是今年值得重新评估的原因,不是版本号本身。

五、真正要算的账不在 Kafka

先把你跑的 Kafka 放一边。它大概率是当初引入版本之上的某个状态,动它要排队。

真正值得单独算的,是旁边那套 ZooKeeper。

Kafka 用 ZooKeeper 的时候,它只干一件事:存集群元数据,选控制器。

六、ZooKeeper 替你养了三台机器

你为一套目录服务,养了三台机器,这是最小起步配置。

这套目录服务的数据量不大,但它要求你把它当成一套独立系统来对待:安装、配置、监控、打补丁、做备份,一样都不能少。

你还要维持看得懂 ZooKeeper 的运维经验。这条经验在 KRaft 模式的 Kafka 上用不上,在别的系统里也越来越少有人用。

每一次和 Kafka 相关的动作,升级、改配置、机房搬迁、故障演练,都多牵出一层。

这一层的补丁、监控、告警不归 Kafka 管,又很容易被当成 Kafka 的事。

七、最贵的是没有明确归属

最后一条最重,而且在架构图上完全看不出来。

ZooKeeper 不在 Kafka 的运维清单里,实际运维它的往往是通用中间件团队,或者搭它的人走了之后没人接。

最贵的一类组件,就是这种担着关键职责、却没有明确归属的。

八、升级列车让窗口越来越少

ZooKeeper 模式的 Kafka,每次版本升级都要两层一起回归:Kafka 本体一遍,ZK 兼容性一遍,中间还夹着客户端协议的兼容组合。

这意味着这套集群能动的窗口比 KRaft 集群更少,每次改动的验证人天更多。

如果你的 Kafka 已经停在旧版本两三年没动,原因很可能不是不想动,而是每次评估都发现,动一次的代价接近动两次。

旧路撤了之后,这笔账不会变小,只会随着落后年限累积。

九、把问题换个问法

要不要跟,可以先改写成另一个问题。

那套 ZooKeeper 现在还活着,理由是不是只剩 Kafka 的元数据。

如果答案是「是」,那你每个季度都在为一种已经退场的架构付租金。

付的不只是机器,还有持续分散出去的运维注意力。

十、跟与不跟,看这几条

这张表可以在机房里直接核对,不需要预测趋势。

跟,排进今年的窗口 不跟,明年再看
机房里 ZooKeeper 的唯一使用方就是 Kafka 同一套 ZK 还挂着别的服务的注册或配置
Kafka 版本已经落后到安全补丁覆盖不到 在跑的版本稳定,且在官方支持范围内
用云托管实例,且托管侧已支持就地迁到 KRaft 自建集群,且拿不出两套同时跑的备用机器
运行环境里还有 Java 8,JVM 升级反正躲不掉 运行时已是较新的长期支持版,没有版本欠账
接手方刚发生过变动,没人说得清那套 ZK 有一个团队对 Kafka 全流程负责到底

十一、两个容易被低估的条件

Java 8 那一条。Kafka 4.0 不支持 Java 8,对还在 8 上的存量系统,这是一次被迫的捆绑迁移:想跟 Kafka,就得先动 JVM。

反过来说,如果今年本来就有 JVM 升级计划,搭车做比单独立项省一个窗口。

如果今年不动 JVM,跟就自然排到明年之后,不必焦虑。

接手方那一条。ZooKeeper 模式的 Kafka 集群最脆弱的状态,是全公司没人对那套集群负责。

这种情况下,迁移本身就是还经验债的机会。

KRaft 把元数据和控制器收回 Kafka 进程内,运维知识重新归一个团队,注意力成本一次性结清。

十二、两个条件都对不上,就不动

如果 ZK 还有别的用途,版本也还新,那正确答案就是不动。

等这套 ZooKeeper 的其他使用方各自退场之后,再回来收尾。

动一半比不动更贵。

十三、真要跟,按四步估

如果表里左边对上了,用固定的四步来估改动量,避免把它估成一次大项目。

  1. 清点。 把所有依赖这套 ZK 的东西列出来,确认 Kafka 的元数据是不是唯一用途。顺手确认生产者和消费者客户端的版本分布,老客户端往往是排期的最大制约。

  2. 选路径。 自建集群按官方迁移章节走标准路径。托管实例只要控制台侧支持就地升级,就优先就地。这两条路的成本差在表里已经说过,不需要重新发明评估方法。

  3. 写回退预案。 迁移过程出问题退到哪一步,元数据以哪边为准,这些必须在动手之前落在纸上,不是等到故障里再讨论。

  4. 留观察期。 迁移完成后保留一个完整业务周期,重点看控制器在节点故障和负载重新分配时的行为,和旧版本时期做对比。

这四步合起来,对一个中等规模的集群,通常是数个人天的改动,加一个观察月的注意力。

这就是决策门槛降了一档的意思:主要成本在排期和预案上,不在技术难度上。

真正做不动的,从来都是表右边那些情况。

十四、还没上 Kafka 的团队怎么选

另一半读者没有历史包袱,那这件事只剩一个问题:第一次引入,怎么选。

我的顺序是这样。

  1. 先分清要的是业务消息队列,还是日志流。多数业务系统的异步处理、事务消息、削峰场景,RocketMQ 这类专门做消息的组件覆盖得更直接,部署形态也更少。

  2. 再核对数据量和生态需求。Kafka 的长处是高吞吐的日志流,以及围绕它的连接器、流处理、入湖工具。只拿来发几个异步任务,长处用不上,付的却是完整一套集群的成本。

  3. 最后才讨论自建还是用托管。托管拿走的恰好就是控制器和元数据这一层,也正是这类事件一直在减少的东西。小团队在这上面没有规模优势。

给还没起步的系统一条硬规矩:新选型里,ZooKeeper 只应该出现在减分项里。

它不再是通用的分布式协调设施,现在的主要身份是少数旧版本 Kafka 的元数据存储。

这正是 KRaft 对你们比对存量用户更大的意义:消息队列从一个两件套的运维问题,变回一件套的运维问题。

十五、一句收尾

Kafka 撤的是 ZooKeeper 那条路,不是你的迁移义务。

先去查清楚机房里那套 ZooKeeper 还在支撑什么。

如果答案只剩 Kafka 的元数据,就把它排进今年的计划。

因为迁移方式第一次降到了「一次变更窗口」的量级,不是「起一套新集群」的量级。

这种时间窗不会一直开着。

引用这一篇
https://www.aryee.cn/archives/kafka-without-zookeeper.html

转载或引用请注明出处与链接。

你手上那套系统,卡在哪一步?

留个手机号和方便的时间,我打过来先听你说现状和限制,再给一个能执行的判断:这套系统该继续修、该动哪里,还是重做一版更省。

约一次沟通不接纯 UI 外包,只做系统层面的问题。不方便留号码,也可以直接跟助手说一句话。