接了第二家模型,中间那一层谁来管
2024 年谈企业接大模型,也就是那类能对话、能写东西的模型,第一个问题基本都是「用哪家」。到 2026 年这个问题已经没人问了,取而代之的是另一句:谁来把这些模型统一管起来。
变化不是观念变的,是被成本逼的。同一个业务动作调不同的模型,单价能差一个数量级。
以 2026 年 4 月 Artificial Analysis 的公开报价为例,DeepSeek V4 Pro 是 $1.74 / $3.48(每百万输入 / 输出 token),V4 Flash 是 $0.14 / $0.28。差十二倍。
这种价差下还坚持「全公司只用一个模型」,等于把定价权交出去。
但多选就带来一堆新问题,而且全都是老式的工程问题:密钥散落、超时各不一样、一家挂了没人接管、月底账单说不清是哪个业务花的。这些问题的解法在别的领域早就有了,就是网关,也就是站在模型和业务中间、统一转发请求的那一层。
一、网关这一层管什么
我习惯把这层要管的事分成四件,缺一个都会漏。
| 职责 | 具体动作 | 不做会怎样 |
|---|---|---|
| 路由 | 按任务档位挑模型,简单改写走便宜的 | 所有请求都用最贵的模型 |
| 失败转移 | 超时、限流、5xx 时转到备用供应商 | 一家抖动,业务全停 |
| 计量 | 每请求记输入 / 输出 token,按调用方归集 | 成本无法分摊,扩容没有依据 |
| 鉴权 | 业务方拿网关颁发的 key,不拿厂商 key | 密钥散进每个仓库,轮换做不到 |
二、四件事里最容易偷懒的是鉴权
前三条大家都认,第四条最容易偷懒,因为把厂商 API Key 直接配到应用的环境变量里「也能跑」。跑到出事故为止。
三、2026 年几个项目的实际进度
这段是给想了解开源侧定型到什么程度的人,全部按公开 release 记录说。
四、LiteLLM 走到哪一步
v1.102.1,2026-09-23 发布。仍是更新最勤的一档,定位是统一多模型调用的 Python 网关,优点是新模型接入快,代价是它站在应用进程里,不是流量层。
五、Envoy AI Gateway 走到哪一步
v1.1.0,2026-08-21 发布。这一版里能直接看到上面四条分工分别落在哪:token 计数接口、按请求携带凭据、流式空闲超时配合失败转移、按 hostname 路由 MCP、以及 OpenTelemetry GenAI 请求追踪。
六、Higress 走到哪一步
v2.2.4,2026-08-13 发布。阿里开源的云原生网关,也是阿里云 AI 网关的底座,中文文档和社区案例最多。
七、三个项目为什么长成了同一个样子
值得注意的不是谁功能多,而是三个项目在同一时期都往「路由 + 失败转移 + 计量 + MCP」这套组合上长。
分工定型了,说明它不再是各家自创的概念。
八、自建最容易漏的第一件事:把流式响应当普通请求
大模型调用基本都是 SSE。网关按普通 HTTP 意思做重试,代价很隐蔽:客户端只看到「卡住了」,而你已经把同一个 prompt 重放了三次,钱付三遍,日志里还看不出来。
要做的是在网关层区分「首个字节之前」和「首个字节之后」:前者可以安全重试,后者只能整条断开重连或者走失败转移,绝不能从中间续。
Envoy AI Gateway 在 v1.1.0 里把 stream idle timeout 和 failover 放在一起处理,就是在解这个问题。
九、第二件:只记请求数,不记 token 数
传统网关的每秒请求数与延迟两件套在这里不够用。两个请求都 200,都花了 4 秒,一个 300 token、一个 30000 token,成本差百倍。
所以归集维度至少要有:调用方、模型、输入 token、输出 token、命中缓存(也就是这次的结果之前算过、直接拿来用)与否。缺任何一项,月底就没法回答「这个业务值不值」。
十、第三件:没有评测集就换不了模型
网关解决了「随时可以换」,但换的判断依据从哪来?多数团队卡在这里:路由逻辑建好了,却没人敢真换,因为没有一套能跑的评测集。
做法不必复杂。把线上真实输入采几百条,人工标一次「这条输出算不算对」,不要求逐字匹配,能自动判就行,存成固定回归集。
以后每次换模型或者换版本,先跑这个集合再放流量。这件事在网关建成当天做成本最低,因为那天的流量还在旧模型上,样本最容易拿。
十一、如果从零开始,按这个顺序做
如果现在手上是零,我会按这个次序做,每一步都能单独交付。
- 先收密钥。把各家厂商 Key 从应用配置里挪进网关,业务方换成网关签发的虚拟 Key。这一步不改变任何调用行为,风险最低,收益最大。
- 再加计量。每个请求落一条包含 token 数的记录,先只出报表不做决策,跑一个月。
- 然后加失败转移。从最简单的「超时 / 5xx 转备用」开始,配好前面说的流式边界。
- 最后做路由和评测集。这时候你已经有一个月的真实分布数据,知道哪一类任务量大,路由策略才有依据。
十二、前三步不需要选产品
前三步都不需要选产品,任何一层都能做。
是否引入现成的 AI 网关,等第三步做完再评估。那时候你已经清楚自己实际需要哪些能力,不至于被功能表带着走。
十三、一句收尾
模型选型是采购问题,网关是工程问题。
2026 年该修的是后者:把路由、失败转移、计量、鉴权这四项放进服务端一层,多模型带来的成本差才算拿得到手。