问问助手

AI 来抓你的内容,该不该开门

2026-11-16 Aryee 37
AI 来抓你的内容,该不该开门

一、门口站着三种来客

2026 年 11 月 1 日,OpenAI、谷歌、微软和 Anthropic 宣布支持同一个标记:网站把它写进根目录的 robots.txt,就表示「我的内容不用于模型训练」。很多站长把这条消息当成一个开关。

但门口站着的从来不止一种人。

第一种是训练爬虫。抓走页面是为了喂给模型,抓完就走,不会带来一个访客。第二种是检索爬虫。用户在 AI 搜索里提问,它来取当前网页,答完附上出处,可能带来点击。第三种是用户触发。一个人在看对话时让 AI 打开某个页面,它来取这一页。

三种来客,用途不同,代价不同,拦了损失什么,也完全不同。把三类当成一件事,是这类决定里最常见的错。

二、抓走的比带回来的多得多

Cloudflare 在 2026 年 9 月公布过一组数:2025 年春天,它看到的爬虫请求里约 22% 是训练用途;到 2026 年 6 月,这个比例变成 52%。同期,非人类流量已经占到网页总流量的 57.4%。

抓取和回流不成比例。按 Cloudflare 对 2026 年第一季度的分析,Anthropic 的爬虫每带回一个访问,要抓走大约 2.4 万个页面;OpenAI 大约 1300 个;谷歌搜索大约 5 个。

三个数字差得很远。它说明的不是谁更坏,而是几种生意的算法不同。搜索靠点击活着,抓一个页面,大致要还一个访问。训练不靠点击,抓得越多,模型越好,和你的流量没有关系。

三、不写规则,会不会被当成默许

robots.txt 在 2022 年被写成 RFC 9309。那份文件说得很清楚:它是抓取方的自愿约定,不是访问授权,也不能替代安全措施。换成站长的话:它管得住守规矩的,管不住不守规矩的。

到了法庭上,它又有另一层意思。2026 年 9 月,OpenAI 在纽约那组版权案的联合简报里提出,当年抓取公开网页时,出版方没有用 robots.txt 或其他方式拒绝,所以可以视为一种默许。

这个说法能不能站住,要等法院判。它至少说明一件事:你不写,对方就会拿「你没说不」当理由。

2026 年 10 月 30 日,Meta 修改商业条款,删掉了「train」这个词,但保留了自动访问客户网站内容的权限。

康奈尔大学的 James Grimmelmann 公开解读,对新闻出版方来说,这仍然等于给了训练许可。删一个词,不等于收回一项权利。

反过来看另一件事。Anthropic 因训练数据里的一批盗版书,在 2025 年支付 15 亿美元与作者和解。那件事的重点不是「训练合不合法」,而是书是怎么来的。法庭和舆论追的,常常是获取手段,不是学习本身。

四、全拦最省事,代价能算出来

最直接的做法是所有 AI 爬虫一律拒绝。这么做省事,也有代价。

美国新泽西州立大学与宾夕法尼亚大学沃顿商学院的一项研究(2026 年 4 月修订)跟踪了彻底封锁模型爬虫的新闻网站:拦截后的六周里,这些网站每周的整体流量下降了大约 7%。研究者强调,这是人类访问面板里的下降,不是机器人请求数的变化。

原因不难理解。AI 搜索的索引和训练爬虫常常来自同一家公司,规则写粗了,会把检索那条也一起挡掉。检索被挡,答案里就不会出现你的页面。

2026 年 11 月的一项统计还提示,ChatGPT 已经占主流 AI 聊天工具流量的 81% 以上,AI 服务带来的外部访问一年增长了 92%,其中六成来自 ChatGPT。这块流量现在还小,但在长。

全拦适合一种站:内容本身就是商品,且主要靠订阅或合同收款。对靠公开内容获客的站,全拦等于把未来的入口一起关掉。

五、只拦训练,写法要分开

如果目标是「可以引用,不要训练」,就不能用一条通配规则全挡。主流公司已经把爬虫分成几支,各管一件事。

OpenAI 公开的名字里,GPTBot 抓训练语料,OAI-SearchBot 管搜索引用,ChatGPT-User 是用户当场触发。

Anthropic 同样分成 ClaudeBot 与 Claude-SearchBot。谷歌那边,Google-Extended 管 Gemini 的训练,不影响 Google 搜索的收录与 AI 概览,后者仍走 Googlebot。

规则可以分开写:GPTBot 拒绝,OAI-SearchBot 放行;ClaudeBot 拒绝,Claude-SearchBot 放行。想退出训练,别顺手把检索也关了。

还有两点容易写错。第一,ChatGPT-User 是用户发起的访问,robots.txt 的规则未必适用,拒绝它更多是表个态。

第二,国内的字节爬虫 Bytespider 同时服务搜索与训练,挡了它,豆包和头条搜索那一侧可能一起看不见。国内这几家分得没有这么细,取舍只能按业务来定。

六、llms.txt 不是授权书

2024 年有人提出 llms.txt:在站点根目录放一份给模型看的目录,列出重要页面和摘要。这两年不少服务商把它包装成「AI 时代的 robots.txt」。

到 2026 年,实际情况是:它仍是社区约定,没有标准组织背书;谷歌公开表示不支持,也没有采纳计划;几家做监测的公司用服务器日志核对过,采用率很低,对引用量没有可测的影响。

它有用,但用处不在授权。对文档站、开发者站,一份整理好的入口能让 AI 助手更快找到正确页面。它不能替代许可,也不能阻止谁抓取。把它当成「我允许你使用」的声明,反而危险:一份目录不是合同,写进去的页面也不会因此获得报酬。

七、统一标记刚宣布,先看文件里有没有

回到 11 月 1 日那条消息。这套机制由 Anthropic 的 Kevin Kelley 提交给 IETF,形式是 robots.txt 里的一行策略标记,一次声明,多家读取。

Anthropic 说已经采纳,OpenAI 说未来几个月,谷歌和微软说明年,Meta 说支持但没有时间表。

宣布和生效之间隔着发布。消息出来当天,有人把四家公司自己的 robots.txt 逐个拉下来搜,四个关键词都是零命中;唯一写着类似标记的,是 Cloudflare 自己的文件。

这不是说标准没用。它意味着两件事:第一,过渡期里,逐家写规则仍是最可靠的做法;第二,验收点不在新闻稿,在文件里那一行。等明年谷歌和微软说自己支持了,去它主域名的 robots.txt 里搜一下,比看公告可靠。

八、按内容分档,别一个规则管全站

同样的站,不同页面的价值不一样。比较稳妥的做法是分四档。

第一档是获客内容:文章、案例、产品介绍。目标是被人看见,检索爬虫放行,训练爬虫按公司态度决定。担心被白用,训练可以拒,检索必须放。

第二档是产品文档与帮助中心。用户会直接问 AI「这个功能怎么用」,放行检索与用户触发,训练可拒。文档被引用,往往直接带来试用。

第三档是付费内容与数据库。内容就是商品,训练与检索都应拒绝,或只对签了授权的合作方开放。技术上不能只靠 robots.txt,要有登录、限流与合同。

第四档是后台、客户数据与接口。所有爬虫一律拒绝,而且不能只写在 robots.txt 里,要在入口层按身份与路径拦住。robots.txt 挡不住恶意抓取,这一档靠的是访问控制。

九、技术上四层,声明只是第一层

第一层是声明。robots.txt 写清各支爬虫的名字,加上 sitemap。它只对守规矩的有效。

第二层是识别。按来源地址与请求特征区分,OpenAI 等公司公布了自己的地址段,可以据此放行或拒绝。只看 User-Agent 不够,那个字段可以伪造。

第三层是限速与闸门。给爬虫单独设速率上限,超了就排队或返回 429;要收费的,返回 402 并给出授权入口。

Cloudflare 的按次收费从 2025 年 7 月内测至今仍在少数出版方手里,小站暂时用不上,但「先授权再放行」的思路可以自己实现。

第四层是账本。每天按爬虫名统计请求数、状态码、回流访问与引用。没有这本账,所有判断都只能靠感觉。

十、合同里补三句,比技术更管用

如果内容值钱,技术拦截只是第一道门,真正能收钱的是合同。

第一句写用途:训练、检索、摘要、再分发,分别是否允许,允许到什么范围。第二句写回流:引用时是否必须带出处与链接,是否可以整段转载。第三句写退出:授权期限、终止后的删除与核查方式、违约怎么算。

对平台侧也一样。2026 年 10 月 Meta 那次条款修改提醒了一件事:默认条款里的一句「自动访问」,可能就把授权给出去了。企业自己的官网、商城、文档站,入驻平台前要把这一句读出来;能改的改,不能改的至少留档。

十一、国内站还多一层:平台条款与索引依赖

国内没有一套统一的机器可读授权文件。常见做法是平台在用户协议里写明「禁止抓取」「禁止用于模型训练」,真正起作用的是协议与著作权法,不是根目录那个文本。

这带来两个现实。第一,你的内容如果发在平台上,授权边界先看平台条款,自己的 robots.txt 管不到那一份。第二,国内 AI 问答的检索多依赖百度、字节等索引,挡得太粗,可能连正常的搜索收录一起丢。

2026 年 5 月,国内 22 家出版与传媒机构联合发出「先授权、后使用」的倡议,方向是先把授权关系理清,再谈使用。

做跨境业务的公司,要同时面对两套规则:一套是 robots.txt 与各家爬虫名,一套是平台条款与本地法律。两套都要写,别只写一边。

十二、小站这周就能做的事

先把现状量出来。从服务器日志里按爬虫名拉最近 30 天的请求数,看看谁来得最多、哪些路径被反复抓。

再写规则。检索类放行,训练类按内容分档;后台与接口一律拒绝;加上 sitemap。写完用不同的 User-Agent 各请求一次,看返回码是不是符合预期。

然后补账本。把 AI 来源的访问单独标出来,按周看趋势。现在这块流量小,正适合先把统计算法定下来,等它变大再补就晚了。

最后补合同。对外授权、平台入驻、外包写稿,三处都加上用途与退出条款。技术挡的是现在,合同管的是以后。

十三、三个月后回看三个数

第一,抓取量。训练爬虫的请求是涨是跌,挡了以后有没有换名字再来。第二,回流量。AI 来源带来的访问与转化,和搜索来源分开记。第三,引用量。在主流 AI 搜索里,品牌与页面被提到的次数。

三个数一起看,才能回答「开门值不值」。只看抓取量,会觉得被占便宜;只看回流量,会忽略现在的比例还很小。研究给的是参考,不是保证,自己的账本才是依据。

引用这一篇
https://www.aryee.cn/archives/ai-crawler-open-or-block.html

转载或引用请注明出处与链接。

你手上那套系统,卡在哪一步?

留个手机号和方便的时间,我打过来先听你说现状和限制,再给一个能执行的判断:这套系统该继续修、该动哪里,还是重做一版更省。

约一次沟通不接纯 UI 外包,只做系统层面的问题。不方便留号码,也可以直接跟助手说一句话。