问问助手

数据准备好了吗,AI 项目的前置条件

2026-10-05 Aryee 20
数据准备好了吗,AI 项目的前置条件

数据准备好了吗,AI 项目的前置条件

一、先看数据,再看算法

很多人以为 AI 项目的关键是算法。算法其实是现成的,开源社区有大量成熟模型,拿来就能用。

真正决定成败的是数据。你的数据质量,决定了这个项目能做到什么程度。

数据没准备好就启动,就像厨房里没有食材却请了一位厨师。手艺再好,也做不出菜。

二、数据量够不够,看任务类型

不同任务需要的量级差得很远。

简单的分类任务,比如判断一封邮件是不是垃圾邮件,几千条标注数据就够。

复杂的识别任务,比如从产品照片里找出缺陷,至少要几万条标注数据。

要微调一个大语言模型,至少要几十万条高质量数据。

先确定自己做的是哪一类,再去看手上的数据够不够。别拿一个笼统的数字到处比较,那没有意义。

三、数据质量看四个面

数量够,不代表能用。质量要看四个面。

准确性:数据是对的,不是错的。

完整性:该有的数据没有大面积缺失。

一致性:不同系统里的同一个字段对得上,格式统一。

时效性:数据是最新的,不是几年前的快照。

这四个面里,任何一个明显不达标,都会让后面的训练和评测失真。

四、有没有标签,决定要不要先花一笔钱

监督学习需要标注数据,每条数据都要有正确答案。

客服问答,每条问题要有标准答案。图像识别,每张图片要标出这是什么。文本分类,每篇文章要标出属于哪一类。

标注数据的成本很高,通常是数据本身成本的 5-10 倍。

所以在立项时就要问:现成的标注有没有?没有的话,这笔钱和时间谁来出。

五、数据拿不拿得到,先看被锁在哪

数据往往散落在十几个系统里。

有的系统有接口,有的系统没有。有的数据能直接导出,有的被锁在某个员工的 Excel 里,人一走就找不到。

这一条经常被低估。算法团队以为数据就在库里,真正动手才发现,光是拿到数据就要花不少时间。

六、合规这一关,越早问越省钱

有些数据涉及用户隐私,不能拿来就用。

身份证号、手机号、地址,聊天记录、浏览记录,交易记录、财务数据,这些都属于要先过合规的类别。

要用,必须脱敏,或者拿到用户授权。

合规审查要由法务部门来做:哪些数据可以用、哪些不能用,需要哪些授权、哪些脱敏,有没有合规风险。

不要等模型做完再问法务。越早问,越容易换方案;等系统上线前才问,往往只能推倒重来。这个决定也不该由工程师来做。

七、数据审计第一步:把数据源列全

数据审计通常是 AI 项目的第一步,需要 2-4 周。

第一件事是把所有可能相关的数据源列出来:数据库、数据仓库、日志系统、第三方服务。

每个数据源记三样:有多少条记录、多少 GB;是结构化数据,还是文本图片这类非结构化数据;怎么访问,有接口、能导出,还是只能手工抄。

这份清单不完整,后面的判断都会偏。

八、抽样一百条,能看出大半问题

质量检查不用全量,抽样就够看出大概。

每个数据源随机抽 100 条,看有多少条是错的、多少条缺失。

再检查同一个字段在不同系统里的格式是否一致,最后确认数据的最后更新时间是什么时候。

抽的时候要真的随机。只抽最近的数据,或者只抽自己熟悉的那几张表,结论会偏得很厉害。

九、标签情况问三个问题

有没有人工标注过的数据集。

有没有能靠规则自动生成标签的数据。

如果必须人工标注,成本是多少、要花多少时间。

这三个问题的答案,直接决定项目能不能在这个季度启动。

十、数据不够的四条路

数据量不够,有四种补充方式:数据增强、迁移学习、主动学习、合成数据。

四种方式解决的不是同一个问题,代价也不同。下面分开说。

十一、数据增强:把现有数据变多

对现有数据做变换,生成新的数据。

图像可以旋转、翻转、调整亮度。文本可以替换同义词、重组句子。音频可以加噪声、调整语速。

数据增强能把数据量扩大 5-10 倍,但生成出来的数据质量不如真实数据。

它适合在真实数据难获取时补数量,不适合拿来掩盖数据本身的偏差。

十二、迁移学习:借别人训练好的模型

用在大数据集上训练好的模型,微调到你的场景。

BERT 这类通用语言模型可以微调到你的文本分类任务,ResNet 这类通用图像模型可以微调到你的图像识别任务。

迁移学习能把数据需求降低 10 倍,但效果不如用大量数据从头训练。

对大多数企业来说,这是性价比最高的一条路:先借现成模型,再用手上的数据做微调。

十三、主动学习:只标模型拿不准的那部分

让模型先跑一遍,告诉人哪些数据它最没把握。

比如模型对 90% 的数据都很确定,对 10% 的数据不确定。只标注那 10%,就能明显提升效果。

主动学习能把标注成本降低 50-70%。

前提是模型已经有一个能用的初版,并且能给出可信的置信度。冷启动阶段用不上。

十四、合成数据:能试,但不能当主力

用 AI 生成假数据。图像可以用 GAN 这类生成模型造,文本可以用大语言模型写。

合成数据的质量不稳定,但在数据极度缺乏时可以试试。

它更适合做补充和压力测试,不适合作为训练数据的唯一来源。模型在假数据上学到的东西,可能和真实业务对不上。

十五、长期机制一:源头把关

数据审计是一次性的,数据治理是长期的。

第一道关在录入环节:表单加必填、格式和范围校验;关键数据要双人确认;系统层面不允许录入明显错误的数据。

数据在源头就错了,后面清洗的代价会成倍增加。

十六、长期机制二:定期清洗

每个月或每个季度做一次数据清洗。

删除重复数据,补全缺失数据,修正错误数据。

清洗要有记录:清掉了什么、按什么规则清的、谁确认的。没有记录,下次没人敢再动。

十七、长期机制三:数据字典与负责人

维护一份数据字典,记录每个字段的含义、格式、取值范围。新人入职、系统对接时,都有据可查。

每个数据源还要有一个负责人,对数据质量负责。出了问题,知道该找谁。

字典和负责人这两件事看着最不起眼,却是数据治理能不能持续的关键。

十八、能不能启动,看这几条

可以启动的信号:数据量达到最低要求,比如几千条标注数据;数据质量合格率超过 80%;标签已经有了,或者能在一个月内标完;数据拿得到;合规没有问题。

需要暂缓的信号:数据量不够且没有补充方式;合格率低于 50%;没有标签且标注成本太高;数据拿不到;合规有风险。

暂缓不是不做,而是先做数据治理,等数据准备好了再启动。硬着头皮上,大概率是做到一半推倒,时间和钱都花了。

十九、读完能做什么决定

如果五条都满足,可以立项,但先把数据审计做完,再排开发计划。

如果有两三条不满足,先做数据治理,定一个复查的时间点。

如果数据拿不到,或者合规过不了,换题目,不要在这个方向上继续投入。

最后记住一句话:AI 项目的成败,80% 取决于数据质量,不是算法。

引用这一篇
https://www.aryee.cn/archives/data-ready-for-ai.html

转载或引用请注明出处与链接。

你手上那套系统,卡在哪一步?

留个手机号和方便的时间,我打过来先听你说现状和限制,再给一个能执行的判断:这套系统该继续修、该动哪里,还是重做一版更省。

约一次沟通不接纯 UI 外包,只做系统层面的问题。不方便留号码,也可以直接跟助手说一句话。