问问助手

AI 答得不准,先别急着换模型

2026-09-27 Aryee 9

AI 答得不准,先别急着换模型

一、先别回答要不要上向量库

「今年要不要上向量库」,我现在的答法是先不答。

把系统给检索用的那份清单拿出来,看三件事:每篇那句说明是作者手写的,还是从正文开头截的?它有没有说清这一篇回答什么问题?模型在回答之前,到底有没有把命中的正文读进去?

前两问属于目录层,第三问属于预读层。先看清这两层,再谈向量库。

二、几十到几百篇,瓶颈常常不在相似度

我的判断是:几十到几百篇这一规模的企业知识库,比如制度、手册、合同模板,检索的瓶颈几乎不在语义相似度上。

真正的瓶颈有两处:每篇的说明没有配对,命中的那一篇没有被真读进去。

先上向量库,检索出来的还是一堆没有说明的标题。embedding 是把文字变成可比较的向量,它不会替你补上那句说明。

三、说明不在主表,取的时候要配对

本站每篇的手写摘要、描述字段、关键词,都不在内容主表上,而是住在一张「内容、字段、取值」的表里,一行放一个取值。

这样安排的好处是,说明与正文可以分开写,改文案不用动正文。代价是取的时候要配对,内容和字段要能对上。

四、单篇取和批量取,差几十条查询

配对有两种走法,我分开用。

单篇取:按内容主键取出字段行,再按字段编号取回定义,一篇要查两次。它只给详情页和搜索出口用。列表要是也这么走,一页十条就是十条白查。

一批取同一字段:先按字段名取一次定义,再按内容主键的集合取一次取值,两趟就够。清单要三十篇的一句话说明,单篇取是六十条语句,批量取是两条。

五、那句说明空着,模型只能拿标题猜

批量配对之后,还要检查说明是不是真的写了。

说明空着时,模型只有标题可猜。「本站没提过」和替文章编结论,这两类错话就是这么来的。

检查方法很直接:清单里有几句说明是空的?空行不是排版问题,是检索层没有依据。

六、摘要的取用顺序要写死

摘要从哪里取,顺序要定死:作者手写的摘要优先,其次用描述字段,最后才截正文开头。

正文开头那一段,几乎永远是背景铺垫,不是「这一篇回答什么」。

验证方法:挑五篇,只看那句说明,认不认得出这一篇讲什么。认不出,说明它是从正文里截的。

七、清单装不下全部,只放最近三十篇

还有一条硬限制:清单要装进模型的上下文。

本站只放最近三十篇,每篇一行,包含标题、截到一百二十个码点的说明、编号和地址。

三十篇全文是几万 token,而一次提问通常只用得上其中一篇。把全部正文塞进去,既贵又容易把真正相关的那一篇淹掉。

八、两个篇数对不上,先问是哪条语句给的

内容表里有一个计数字段,它是管理用的算法:从派生表里做总数统计,只按「已发布」过滤,不看定时发布,也不区分文章形态,而且只刷新本次受影响的那几个术语编号。

前台导航另走一条分组语句,数的是访客真能读到的篇数,会限制形态、状态和发布时间。

两个数答的不是同一个问题。列表可见性一改,两处就得同步。不同步不会报错,只是数对不上。核对时先问一句:这个数是哪条语句给的。

九、缓存要留一个能关掉的排查档

前台取数那一层有 TTL 缓存,也就是一份数据只复用一小段时间。它的作用是让一次页面渲染不要向后端问七八趟。副作用是那句「改了怎么还没生效」。

这一处要显式处理。留一个把缓存时间配成 0 的排查档,并且规定哪种失败不许吃旧数据。

后端明确答「这一篇没有」时,如果还拿旧数据顶上,已经下架的稿子会一直留在公网上。助手那边相反,提示词每次现拼,不缓存。

十、目录层还要解决同名问题

术语分组也在这一层。分了组,才答得出「这里讲过哪几类事」。

它的第一个坑是同名。比如 Agent 这个词,业务系统里早就另有含义,检索时不能只认字面。同名不处理,清单会把读者带到另一件事上。

十一、预读层:命中之后真读正文

目录层搭好之后,会出现一种新的错法。

说明本身已经够答一半问题了,于是模型只读目录就开口,末了还说一句「这篇正文我读过」。

本站提示词里现在有一行:没开预读时,写上「这一问本站没有替你读任何一篇正文,没读过的不许说已读取」。它只在没开预读时补充,开了预读,那句反倒成了假话。

十二、四步:分词、第一道门、第二道门、同分并读

「命中后要读正文」得落成可执行的四步。

  1. 问句分二元组,看覆盖不看长度。 中文按相邻两个字一组,连续西文与数字整串保留,拿这些片段比对每篇的标题加说明,只看问句被覆盖了多少。不按长度算,否则长文永远占便宜。
  2. 第一道门。 一篇都够不上分数下限,就一篇都不喂。字面重合不等于讲的是同一件事。库里压根没写过的那类问句,某个中间件的默认值,字面上也能捞到一点,模型读到看着相关的正文,就更会顺着答。要解这一处得换判断方法,不是把分数挪来挪去。
  3. 第二道门。 喂进去的那一组,要和组外最高的一篇拉开一段差。拉不开,也一篇都不喂。它挡的是两三篇挨得很近、说不出哪一本才是要的那一本的情况。那时喂错了比喂晚了更糟。
  4. 同分一起读,最多三篇。 同分说明字面分不出高下,替模型挑一本,等于拿清单顺序当依据。每段点明出自哪一篇,不对题的段落只当没有。读正文要串行,三篇并行只是三趟查询同时压向连接池,几十毫秒不值得。

十三、两道门都不过,给模型一条自己读的路

两道门都不过的,交给模型自己。

清单每行单列一个编号,另有一个工具,按编号读正文。提示词里写明:手上没有它的正文,就在答这一句之前当场读掉。

编号必须单列。那一行上标题、地址都像答案,让模型猜,它会把整条地址抄过去。一次给六千字符,约四千汉字,截断而不报错。

十四、答得不像读过正文,按顺序查两处

这是我最常用的一条检查。

答得不像读过正文时,按顺序查,别跳步。先查目录层:命中的那一篇对不对。再查预读层:对的那一篇进没进上下文。

两处看完,才轮到怀疑召回算法。多数「不像读过」停在第二处。

门限的宽度就是一个二元组。挪一分一厘,动的就是它。靠感觉调不出来,所以要有一张不连库也不连模型的表,把评测问句的实际分数摆出来。比对要用配对拿回来的整段,不能拿截断后的清单行。

十五、三层各自解决什么

层 只解决这一件 到顶的信号
目录:每篇一句说明、字段批量配对、术语分组 让清单能指路:这篇回答什么问题、要不要往下读 说明得有人写;几百篇时清单装不进上下文,必须先缩小候选范围
预读:命中后真读那一两篇,同分并读,拉不开就不喂 让答案落到正文上,而不是落到摘要上 字面重合的判法抓不住换了说法的问句,「喂不进」的情况变多
向量库:把问句和文章变成向量再比距离,配重排减少篇数 解字面不重合的语义召回,以及规模变大后的候选减少 它不补元数据,也不替你读正文;前两层没做就上,只得到召回得更准的一堆空标题

这跟讲网关的那一篇里的第三条是同一个道理:没有一套能跑的评测集,你就不敢真换。

十六、什么时候该上向量库:三条里够两条

该动手上向量库的标准,我给三条。够两条再动,只有一条,先把前两层补完。

一,问法与文档用词不重合的那一类明显变多。同一个东西有三种叫法,口语问法对着书面制度。

站内搜索走的是字面那条路:关键词转成模糊匹配模式,空白字符当分隔,跨标题与正文两张表查。这条路径答不了上面那类问句。但只有被它反复打断,才值得上一整套索引。

二,字面判断本身到顶。并读三篇还都不对题的情况变多。这是换判断方法的信号,不是把那一组砍到一篇的信号。

三,需求从「按篇」变成「按段」或者「跨篇合成」。一个答案要拼三本手册里的不同条款。这时检索单位已经不是文章,前两层做再多也够不着。

十七、三条能直接抄走的规矩

一,每篇一句手写说明,独立成一个字段,并给卡片、清单、检索摘要定一条取用顺序:手写摘要优先,其次描述字段,最后正文截断。顺序不写下来,最后一定是正文截断占多数。

二,清单与正文分开取,但每行带一个能拿去读的编号,并留一条「当场读掉」的路。只给清单不给路,模型会拿摘要当事实。

三,每一层单独可量。目录层数空说明的行数,预读层查命中的那一篇进没进上下文,最后才端到端看答得好不好。只看端到端,你永远不知道是哪一层没干活。

十八、一句收尾

向量库是买得到的能力。目录和预读,靠的是你库里那几列字段,和那一次真读了正文的读取。

「答得不像读过」这一类问题,我按这两处查,基本就能定位,剩下的一成才轮到 embedding。

先补字段,再补那一次读,最后评估要不要上向量库。顺序反过来,你是拿一套语义索引,去盖一个没有配对元数据的库。

引用这一篇
https://www.aryee.cn/archives/retrieval-catalog-before-vector.html

转载或引用请注明出处与链接。

你手上那套系统,卡在哪一步?

留个手机号和方便的时间,我打过来先听你说现状和限制,再给一个能执行的判断:这套系统该继续修、该动哪里,还是重做一版更省。

约一次沟通不接纯 UI 外包,只做系统层面的问题。不方便留号码,也可以直接跟助手说一句话。