AI 应用被查,检查的人先看哪三样
一家做母婴用品的公司,微信小程序里有两个入口:一个叫「育婴助手」,能聊天,也能生成海报;另一个是给三家经销商用的开放接口,背后接了两个模型。
产品经理一直觉得,模型是买来的,标识是平台的事,评估是法务的事。
直到渠道方转来一条通报。
一、先看两起真实的案子
2026 年 9 月 15 日,国家网信办公布了 10 起执法典型案例,涉及网络安全、数据安全和个人信息保护。
10 起里有 2 起和 AI 直接相关,编号排在第 9 和第 10。
第 9 起是一家四川的科技公司。它运营的微信小程序提供 AI 文本对话和图片生成,被查时缺了三样东西。
界面上没有显式标识;文件属性里没有隐式标识;提供导出功能时,也没有在导出的文件里补上标识。
同时,这家公司没有按规定做安全评估。
处理结果是责令下线该小程序。
第 10 起是一家江苏的科技股份有限公司。它运营 2 个网站,用「API 中转站」的方式调用多个大模型(能生成文字、图片的那类模型)产品的接口,对外提供对话和问答。
被查的原因是没做安全评估。
处理结果是责令改正、从严处理责任人、警告。
两起案子的处理方式不同,一个下线,一个警告。但把两件事说清楚了:标识要真加上,评估要真做过。
二、十起案子里 AI 只占两起,说明什么
剩下 8 起不是 AI 案子。
门户网站后台用弱口令,被暴力破解后植入恶意代码;App 里被离职员工塞进恶意程序,35 万用户受影响;数据公司把测试数据留在生产环境,2400 余份敏感文件被拿走。
还有医院系统留着 700 个漏洞,其中 73 个是高危;运动 App 不授权就不给用,超范围收集个人信息;办公场所采集了 5000 余条人脸,没有单独同意;把个人信息传到境外,却没有申报评估。
把这 8 起和两起 AI 案子放进同一批通报,意思很直白:AI 服务不是另一套监管,它和网站、App、数据库放在同一张检查表上。
检查的人不会先问你用的是什么技术,只会问你该做的几件事做了没有。
三、第一样:生成的内容有没有标识
回到那家四川公司。它的小程序能聊天,也能生成图片,这两类都在《人工智能生成合成内容标识办法》的范围内。
这部办法 2025 年 3 月 7 日颁布,2025 年 9 月 1 日施行,由国家网信办、工业和信息化部、公安部、国家广播电视总局四家联合发布。
它要求的不是一句话,而是三处都要有。
四、显式标识,用户得在界面上看见
显式标识就是用户能直接看到的提示,比如「本内容由 AI 生成」。
位置要在内容旁边,或者界面上显眼的地方。只写在用户协议里不算,只在官网角落提一句也不算。
聊天类服务要在对话界面提示,图片类要在图片上或者图片旁边提示。
有的产品只在启动页放一张说明,用户点进对话就看不到了,这也不够。
五、隐式标识,写在文件属性里
隐式标识是给机器读的,写在文件的元数据里。元数据就是文件属性里附带的那段说明信息,用户平时看不到。
按办法的要求,里面要包含三类信息:这是生成合成内容的属性信息、服务提供者的名称或者编码、内容编号。
官方通报里,这一项是空的。图片能保存,但保存下来的文件不说明自己从哪里来。
六、导出、下载、复制,要再补一次
很多产品在界面上做了标识,用户一点导出,文件里就什么都没有了。
办法专门写了这一条:提供下载、复制、导出功能时,要确保文件里含有符合要求的显式标识。
海报生成、图片下载、对话记录导出,都算。
检查的人会真的点一次导出,然后打开那个文件看。
七、传播平台那一头也有义务
如果你的内容发到别人的平台上,平台也要核验元数据,并在内容旁边加上提示。
2025 年 11 月 25 日,网信部门就集中查处过一批标识违规的 App,处置方式包括约谈、责令限期改正、下架下线。
针对生成服务的提供者,当时列了四类情形:没加显式标识、导出时没加、元数据里没有隐式标识、隐式标识放的位置不对。
也就是说,这份检查表在 2025 年底已经公开过一次,2026 年 9 月的案子只是把它执行到了具体产品上。
八、第二样:上线前有没有做安全评估
安全评估是上线前自己组织的一次安全检查,要对服务的合法性、安全措施有没有用、风险能不能控制住给出结论,并对结论负责。
依据是 2018 年 11 月 30 日施行的《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》。
这份规定第二条把「小程序」明确列进了具有舆论属性的服务形态。
第三条列了几种必须评估的情形:服务上线、增设功能、技术实现方式发生重大变更、用户规模显著增加。
九、什么样的服务算「具有舆论属性」
判断不看用户多少,看它能不能形成公共传播、影响不特定多数人。
能对外公开发布内容、能被转发、能形成话题的,基本都算。
只给内部员工用、没有公开入口、内容不外发的工具,通常不在里面。
但只要把同一个入口开放给客户、经销商或者外包人员,性质就变了。
十、评估报告里要写什么
规定第五条列了重点:有没有安全管理负责人和审核人员、用户身份怎么核验、违法信息怎么发现和处理、投诉怎么接、日志留多久、应急预案有没有。
不用写成一本厚册子,但每一问都要有对应的人、对应的动作、对应的记录。
评估可以自己做,也可以委托第三方做。谁做都要留档,因为执法的第一个问题就是「做过没有」。
报告上要有日期、版本和负责人。换了模型、加了功能、用户规模涨了一截,都要出新的版本,旧的不要删,放在一起。
江苏那家公司被认定的第一句话就是「未按规定开展安全评估工作」。这一句查的是有没有这份东西,不是评得好不好。
十一、第三样:你到底算不算服务提供者
很多做中转和聚合的公司,把自己当成技术服务商:模型不是我的,我只是把接口接过来,再转给别人。
《生成式人工智能服务管理暂行办法》第二十二条把这条路写明白了。服务提供者包括通过提供可编程接口等方式提供生成式人工智能服务的组织和个人。
API 就是程序之间互相调用用的接口。你用 API 把模型能力转给用户,用户看到的是你的入口,你就是服务提供者。
江苏那 2 个网站就是这种形态:调多个模型,做一个统一入口,对外提供对话和问答。
十二、模型备过案,为什么还要自己评估
备案是模型那一头的事,评估是服务这一头的事。
上游模型完成了备案,只能说明模型本身走过了那一关,不能替代你这个应用上线前的安全检查。
这两件事经常被混在一起,因为都叫「合规」,都跟网信部门打交道。
一个简单的判断:备案号是别人给你的,评估报告得你自己签字。
十三、中转还有一个容易漏的地方
中转站通常会接好几个模型,一个主用,几个备用。
备用模型哪怕只在故障时启用,它也是这套服务预设的运行方式之一,评估时不能漏掉。
还有一种情况:模型换了版本,或者加了一个新的能力,比如从文字问答扩到图片生成,服务范围就变了,评估要跟着重做。
把每个模型在什么条件下被调用写下来,主用、备用、故障时怎么转,各走哪一条。这份说明既是评估材料,也是出事以后查日志的对照表。
十四、被查到之前,先对五张单子
第一张:把所有对外入口列一遍,小程序、网站、公众号、网页应用、开放接口,一个不漏。
第二张:每个入口标上用了哪个模型、有没有备案号、有没有做登记。
第三张:每个生成内容的地方标上显式标识在哪、隐式标识写在哪个字段、导出时补没补。
第四张:每个入口的上线时间、评估时间、评估结论、谁签的字。
第五张:内容安全的人员、流程、日志、投诉入口。
五张单子对完,缺口基本自己就浮出来了。
十五、真被查了,处置有哪几档
从公开的案子看,处置不是一个固定的罚款数。
轻的是约谈、责令限期改正;中间是警告、罚款;重的是责令暂停相关服务、下架下线。
江苏那起还加了「从严处理责任人」,意思是责任会落到具体的人,不只落在公司头上。
《生成式人工智能服务管理暂行办法》第二十一条写的顺序是:先由主管部门依照网络安全法、数据安全法、个人信息保护法等法律处罚。
这些法律没有规定的,警告、通报批评、责令限期改正;拒不改正或者情节严重的,责令暂停提供相关服务。
十六、先补哪一样
如果只能先做一件,先做安全评估。
原因很实际:它是一份能拿出来的文件,检查的人一问就能看到;标识是产品里的改动,评估没过,标识做得再全也挡不住下线。
顺序可以这样排:先盘入口,再补评估,再改标识,最后做一次导出和转发的实测。
十七、跟站内几篇的分工
「凡是 AI 生成的,标签该谁去贴」讲标识具体怎么加;「模型是买来的,备案能不能一起买」讲备案和登记怎么分;「AI 惹出的官司,法庭先看哪几样」讲出了纠纷之后法院看什么。
这一篇只讲一件事:执法已经开始,检查的人先看哪三样,以及每一问背后要拿得出什么。
四件事互不替代。
本文作者:Aryee 发布时间:2026-11-06 06:06
本文出处:ARYEE.cn 固定链接:https://www.aryee.cn/archives/ai-app-inspection-three-checks.html
转载或引用请连这一行一起带走;文中的代码与结论按当时环境成立,组件升级后请以官方文档为准。