大模型选型之后：网关成了必选项

2024 年谈企业接大模型，第一个问题基本都是「用哪家」。到 2026 年这个问题已经没人问了，取而代之的是另一句：谁来把这些模型统一管起来。

变化不是观念变的，是被成本逼的。同一个业务动作调不同的模型，单价能差一个数量级——以 2026 年 4 月 Artificial Analysis 的公开报价为例，DeepSeek V4 Pro 是 $1.74 / $3.48（每百万输入 / 输出 token），V4 Flash 是 $0.14 / $0.28。差十二倍。这种价差下还坚持「全公司只用一个模型」，等于把定价权交出去。

但多选就带来一堆新问题，而且全都是老式的工程问题：密钥散落、超时各不一样、一家挂了没人接管、月底账单说不清是哪个业务花的。这些问题的解法在别的领域早就有了，就是网关。

网关这层到底管什么

我习惯把它拆成四件事，缺一个都会漏：

职责	具体动作	不做会怎样
路由	按任务档位挑模型，简单改写走便宜的	全链路用最贵的模型
失败转移	超时、限流、5xx 时切到备用供应商	一家抖动，业务全停
计量	每请求记输入 / 输出 token，按调用方归集	成本无法分摊，扩容没有依据
鉴权	业务方拿网关颁发的 key，不拿厂商 key	密钥散进每个仓库，轮换做不到

前三条大家都认，第四条最容易偷懒——因为把厂商 API Key 直接配到应用的环境变量里「也能跑」。跑到出事故为止。

2026 年几个项目的实际进度

这段是给想了解开源侧定型到什么程度的人，全部按公开 release 记录说：

• LiteLLM：v1.102.1，2026-09-23 发布。仍是更新最勤的一档，定位是统一多模型调用的 Python 网关，优点是新模型接入快，代价是它站在应用进程里，不是流量层。
• Envoy AI Gateway：v1.1.0，2026-08-21 发布。这一版里能直接看到上面四条分工的落点：token 计数接口、按请求携带凭据、流式空闲超时配合失败转移、按 hostname 路由 MCP、以及 OpenTelemetry GenAI 链路追踪。
• Higress：v2.2.4，2026-08-13 发布。阿里开源的云原生网关，也是阿里云 AI 网关的底座，中文文档和社区案例最多。

值得注意的不是谁功能多，而是三个项目在同一时期都往「路由 + 失败转移 + 计量 + MCP」这套组合上长。分工定型了，说明它不再是各家自创的概念。

自建时最容易漏的三件事

一、把流式响应当普通请求处理

大模型调用基本都是 SSE。网关按普通 HTTP 语义做重试，代价很隐蔽：客户端只看到「卡住了」，而你已经把同一个 prompt 重放了三次，钱付三遍，日志里还看不出来。

要做的是在网关层区分「首个字节之前」和「首个字节之后」：前者可以安全重试，后者只能整条断开重连或者走失败转移，绝不能从中间续。Envoy AI Gateway 在 v1.1.0 里把 stream idle timeout 和 failover 放在一起处理，就是在解这个问题。

二、只记请求数，不记 token 数

传统网关的 QPS / 延迟两件套在这里不够用。两个请求都 200，都花了 4 秒，一个 300 token、一个 30000 token，成本差百倍。

所以归集维度至少要有：调用方、模型、输入 token、输出 token、命中缓存与否。缺任何一项，月底就没法回答「这个业务值不值」。

三、评测集没有，就换不了模型

网关解决了「随时可以换」，但换的判断依据从哪来？多数团队卡在这里：路由逻辑建好了，却没人敢真换，因为没有一套能跑的评测集。

做法不必复杂。把线上真实输入采几百条，人工标一次「这条输出算不算对」（不要求逐字匹配，能自动判就行），存成固定回归集。以后每次换模型或者换版本，先跑这个集合再放流量。这件事在网关建成当天做成本最低，因为那天的流量还在旧模型上，样本最容易拿。

一个可执行顺序

如果现在手上是零，我会按这个次序做，每一步都能单独交付：

1. 先收密钥。把各家厂商 Key 从应用配置里挪进网关，业务方换成网关签发的虚拟 Key。这一步不改变任何调用行为，风险最低，收益最大。
2. 再加计量。每个请求落一条包含 token 数的记录，先只出报表不做决策，跑一个月。
3. 然后加失败转移。从最简单的「超时 / 5xx 切备用」开始，配好前面说的流式边界。
4. 最后做路由和评测集。这时候你已经有一个月的真实分布数据，知道哪一类任务量大，路由策略才有依据。

前三步都不需要选产品，任何一层都能做。是否引入现成的 AI 网关，等第三步做完再评估——那时候你已经清楚自己实际需要哪些能力，不至于被功能表带着走。

一句收尾

模型选型是采购问题，网关是工程问题。2026 年该修的是后者：把路由、失败转移、计量、鉴权这四项放进服务端一层，多模型带来的成本差才算拿得到手。