问问助手

接了第二家模型,中间那一层谁来管

2026-09-24 Aryee 21

2024 年谈企业接大模型,也就是那类能对话、能写东西的模型,第一个问题基本都是「用哪家」。到 2026 年这个问题已经没人问了,取而代之的是另一句:谁来把这些模型统一管起来。

变化不是观念变的,是被成本逼的。同一个业务动作调不同的模型,单价能差一个数量级。

以 2026 年 4 月 Artificial Analysis 的公开报价为例,DeepSeek V4 Pro 是 $1.74 / $3.48(每百万输入 / 输出 token),V4 Flash 是 $0.14 / $0.28。差十二倍。

这种价差下还坚持「全公司只用一个模型」,等于把定价权交出去。

但多选就带来一堆新问题,而且全都是老式的工程问题:密钥散落、超时各不一样、一家挂了没人接管、月底账单说不清是哪个业务花的。这些问题的解法在别的领域早就有了,就是网关,也就是站在模型和业务中间、统一转发请求的那一层。

一、网关这一层管什么

我习惯把这层要管的事分成四件,缺一个都会漏。

职责 具体动作 不做会怎样
路由 按任务档位挑模型,简单改写走便宜的 所有请求都用最贵的模型
失败转移 超时、限流、5xx 时转到备用供应商 一家抖动,业务全停
计量 每请求记输入 / 输出 token,按调用方归集 成本无法分摊,扩容没有依据
鉴权 业务方拿网关颁发的 key,不拿厂商 key 密钥散进每个仓库,轮换做不到

二、四件事里最容易偷懒的是鉴权

前三条大家都认,第四条最容易偷懒,因为把厂商 API Key 直接配到应用的环境变量里「也能跑」。跑到出事故为止。

三、2026 年几个项目的实际进度

这段是给想了解开源侧定型到什么程度的人,全部按公开 release 记录说。

四、LiteLLM 走到哪一步

v1.102.1,2026-09-23 发布。仍是更新最勤的一档,定位是统一多模型调用的 Python 网关,优点是新模型接入快,代价是它站在应用进程里,不是流量层。

五、Envoy AI Gateway 走到哪一步

v1.1.0,2026-08-21 发布。这一版里能直接看到上面四条分工分别落在哪:token 计数接口、按请求携带凭据、流式空闲超时配合失败转移、按 hostname 路由 MCP、以及 OpenTelemetry GenAI 请求追踪。

六、Higress 走到哪一步

v2.2.4,2026-08-13 发布。阿里开源的云原生网关,也是阿里云 AI 网关的底座,中文文档和社区案例最多。

七、三个项目为什么长成了同一个样子

值得注意的不是谁功能多,而是三个项目在同一时期都往「路由 + 失败转移 + 计量 + MCP」这套组合上长。

分工定型了,说明它不再是各家自创的概念。

八、自建最容易漏的第一件事:把流式响应当普通请求

大模型调用基本都是 SSE。网关按普通 HTTP 意思做重试,代价很隐蔽:客户端只看到「卡住了」,而你已经把同一个 prompt 重放了三次,钱付三遍,日志里还看不出来。

要做的是在网关层区分「首个字节之前」和「首个字节之后」:前者可以安全重试,后者只能整条断开重连或者走失败转移,绝不能从中间续。

Envoy AI Gateway 在 v1.1.0 里把 stream idle timeout 和 failover 放在一起处理,就是在解这个问题。

九、第二件:只记请求数,不记 token 数

传统网关的每秒请求数与延迟两件套在这里不够用。两个请求都 200,都花了 4 秒,一个 300 token、一个 30000 token,成本差百倍。

所以归集维度至少要有:调用方、模型、输入 token、输出 token、命中缓存(也就是这次的结果之前算过、直接拿来用)与否。缺任何一项,月底就没法回答「这个业务值不值」。

十、第三件:没有评测集就换不了模型

网关解决了「随时可以换」,但换的判断依据从哪来?多数团队卡在这里:路由逻辑建好了,却没人敢真换,因为没有一套能跑的评测集。

做法不必复杂。把线上真实输入采几百条,人工标一次「这条输出算不算对」,不要求逐字匹配,能自动判就行,存成固定回归集。

以后每次换模型或者换版本,先跑这个集合再放流量。这件事在网关建成当天做成本最低,因为那天的流量还在旧模型上,样本最容易拿。

十一、如果从零开始,按这个顺序做

如果现在手上是零,我会按这个次序做,每一步都能单独交付。

  1. 先收密钥。把各家厂商 Key 从应用配置里挪进网关,业务方换成网关签发的虚拟 Key。这一步不改变任何调用行为,风险最低,收益最大。
  2. 再加计量。每个请求落一条包含 token 数的记录,先只出报表不做决策,跑一个月。
  3. 然后加失败转移。从最简单的「超时 / 5xx 转备用」开始,配好前面说的流式边界。
  4. 最后做路由和评测集。这时候你已经有一个月的真实分布数据,知道哪一类任务量大,路由策略才有依据。

十二、前三步不需要选产品

前三步都不需要选产品,任何一层都能做。

是否引入现成的 AI 网关,等第三步做完再评估。那时候你已经清楚自己实际需要哪些能力,不至于被功能表带着走。

十三、一句收尾

模型选型是采购问题,网关是工程问题。

2026 年该修的是后者:把路由、失败转移、计量、鉴权这四项放进服务端一层,多模型带来的成本差才算拿得到手。

引用这一篇
https://www.aryee.cn/archives/llm-gateway-not-model-choice.html

转载或引用请注明出处与链接。

你手上那套系统,卡在哪一步?

留个手机号和方便的时间,我打过来先听你说现状和限制,再给一个能执行的判断:这套系统该继续修、该动哪里,还是重做一版更省。

约一次沟通不接纯 UI 外包,只做系统层面的问题。不方便留号码,也可以直接跟助手说一句话。