并发调用最难收拾的不是慢,而是有任务失联
一个接口要调三个下游:商品详情、库存、评价。三个调用互不依赖,并发发出去,等结果凑齐了拼响应。
这个场景太常见,常见到大多数人不会去想它有什么难处。
直到有一天,库存服务超时了,商品详情和评价其实已经拿到,但那个超时的调用还挂在那里,占着线程、占着连接,没有人去收它。
更麻烦的是,如果你决定「不等了,直接返回错误」,另外两个已经跑完的任务,资源也不会自动释放。
CompletableFuture 能帮你把三个调用并发出去,但它不帮你收拾残局。结构化并发要解决的就是这个残局。
一、CompletableFuture 的三个静默缺陷
先看一种典型的并发聚合写法:三个调用各自返回一个 CompletableFuture,再用 allOf 等三个调用全部完成,最后在回调里把三个结果取出来拼成响应。
能跑。但有三处会静默出错。
下面三节分开说。
二、第一个缺陷:异常被吞掉
商品详情抛异常时,allOf 返回的那个总任务会失败,但库存和评价两个调用还在跑。
异常回调只处理最终结果,不管中间过程。那两个还在跑的调用会继续占用下游资源,直到那两个调用自己结束。
换句话说,你以为已经失败了,实际还有两笔请求在替你把钱花掉。
三、第二个缺陷:取消不传播
你在网关(统一接请求的那一层)设了超时,超时后返回 504。但三个调用不会因为调用方放弃了就自动停下来。
除非你在超时回调里,对每一个调用显式地发出取消,而大多数人不会写这一段。
调用方已经走了,后台还在跑,这是并发代码最常见的一种浪费。
四、第三个缺陷:结果散落
三个结果分别锁在三个 future 里,要凑到一起,得在回调闭包里访问这三个结果。
如果中间还要做校验、转换,代码会越写越绕,最后变成一层套一层的组合调用。
问题不在写法难看,在于这些任务之间没有任何结构。
五、根子是任务之间没有结构
这三个任务是三个独立的 future,碰巧被放在了一起,语言层面不知道这三个任务是一组。
既然不知道是一组,就不会有人在其中一个失败时,替你去收另外两个。
结构化并发要补的,就是这一层「三个任务是一组」的声明。
六、结构化并发把「一组」写进语法
JEP 499 引入的 StructuredTaskScope,做的事情很简单:给一组并发任务建一个范围,范围关闭的时候,里面的任务必须全部结束。
写法上用一个会自动关闭的代码块。三个子任务在这个块里并发发出,然后等三个子任务全部结束。
块结束时,范围一定关闭。如果当前线程被中断,比如 HTTP 请求超时,范围会向每一个还没结束的子任务发出中断信号。
你不需要记得去取消谁,结构本身保证了这一下。
七、和 CompletableFuture 比,有三个实质变化
第一个变化,异常会传播。取结果的时候,子任务抛过异常就直接抛出来,普通的 try-catch 就能接住。
范围关闭时,还没结束的子任务会被中断,不用你手动取消。
第二个变化,取消会传播。调用方放弃这个请求,线程被中断,范围里的每个子任务都会收到中断。
不会再出现「调用方都走了,子任务还在跑」。
第三个变化,结果是局部变量。子任务的结果就在这个代码块里,等到全部结束之后才有值。
编译器能帮你检查:如果在等完之前就取结果,会直接编译报错。
八、两种策略:等全部与取最先
StructuredTaskScope 提供两种内置策略,对应两种最常见的并发模式。
第一种叫 Join,等所有子任务完成。任何一个子任务抛异常,等待的地方会把异常重新抛出来,同时范围关闭、中断其余子任务。
它的意思是:全部成功才算成功。
九、取最先:竞速场景
第二种叫 Shutdown,取最先完成的那个。
典型场景是多个数据源查同一份数据:主库、副本、缓存(先存一份的那一层)同时发出去,谁先回来用谁的。
第一个子任务完成时,范围立即关闭,其余还在跑的被中断。
「谁先到用谁」这段逻辑不用自己写,范围替你做了。
这两种策略覆盖了绝大多数并发聚合场景。需要更复杂的规则,比如至少几个成功,可以自己写策略,但大多数时候不需要。
十、它和虚拟线程是两件事
上一篇《WebFlux 还在用,但选型的理由变了》里讲过虚拟线程:它解决的是「一个任务阻塞时不浪费线程」。
结构化并发解决的是「多个并发任务的生命周期怎么管」。一个管效率,一个管正确性,正好互补。
在 Spring Boot 4 里,虚拟线程已经是默认配置。结构化并发还在预览,启动时要加 --enable-preview。
这两样可以同时用:范围里发出的子任务,默认就在虚拟线程上执行。
换句话说,虚拟线程是单个任务的执行模型,结构化并发是多个任务的组织模型。
十一、什么时候该用
结构化并发不是万能的。下面几种情况适合用。
- 多个独立查询,结果需要聚合。就像开头的例子,三个下游互不依赖,但响应里缺一不可。
- 多个检查,任何一个失败就该停。比如提交订单前同时检查库存、信用、风控,任何一个不过就不该继续。Join 策略天然支持这个意思。
- 多个数据源竞速,取最快的。Shutdown 策略就是为这个设计的。
十二、什么时候不该用
有一种情况不该用。
- 任务之间有依赖,也就是流水线。第二个查询要用第一个的结果,那是链式调用,不是并发。直接顺序写就行,虚拟线程下顺序写的性能和并发差不多。
还有一条隐含的条件:如果你的项目跑在 WebFlux 加 Reactor 上,结构化并发用处不大。
Reactor 的 Mono.zip 和 Flux.merge 已经在做同样的事:把多个异步操作的生命周期绑在一起,处理异常传播和取消。
我的这个 CMS 就是这种情况,整套代码都是 Reactor,结构化并发没有用武之地。
它的主要用处在 Spring MVC 加虚拟线程那一类项目里。
十三、生产环境还在预览
结构化并发在 Java 25 LTS 上仍然是预览(JEP 499,第四预览)。
这意味着三件事:启动要加 --enable-preview;接口可能在后续版本微调;Oracle 计划在 Java 27 正式定稿。
从 JEP 453 到 499,核心接口已经相当稳定,但预览就是预览。
十四、生产环境怎么用
如果你要在生产环境用,建议三条。
- 限定范围。只在工具类或服务层内部用,不要把 StructuredTaskScope 暴露到对外接口上。万一接口变了,改动就局限在几个类里。
- 封装成方法。把「并发查三个下游」封成一个方法,调用方只看到结果,不关心内部是结构化并发还是 CompletableFuture。将来迁移成本最低。
- 盯着预览状态。每个 Java 版本发布时看一眼变更记录。接口有破坏性改动,提前评估影响面。
如果项目还在 Java 21 LTS,结构化并发暂时用不了。Java 21 是第二预览,接口差异较大。
建议等 Java 25 LTS 普及之后再考虑。到那时接口已经经历四轮迭代,稳定性更高。
十五、它改变的不是性能
结构化并发不会让代码跑得更快。它改变的是写并发代码时的思考方式。
用 CompletableFuture 的时候,你要时刻记住:这三个 future 是独立的,一个失败了另外两个怎么办?调用方取消了怎么通知那三个任务?结果散在三个回调里怎么凑到一起?
用结构化并发的时候,这些问题消失了。不是被解决了,而是不再存在。
父子关系是写出来的,生命周期是范围管的,结果是局部变量。你不需要记住任何约定,因为结构本身替你做了决定。
十六、一句收尾
这就像自动关闭资源的写法和手动在 finally 里关的区别。
两种写法都能关资源,但前者让你不可能忘记关。
结构化并发给你的,是并发任务的结构化生命周期:写出来的代码,结构上就不可能留下失联的任务。