数据准备好了吗，AI 项目的前置条件

很多人以为 AI 项目的关键是算法，其实不是。算法是现成的，开源社区有大量成熟的模型。真正的关键是数据——你的数据质量决定了 AI 项目的上限。

数据没准备好就启动 AI 项目，就像没有食材就请厨师。再好的厨师也做不出菜来。

数据准备好的五个标准

数据量够不够。不同的任务对数据量的要求不同：

• 简单的分类任务（比如判断邮件是不是垃圾邮件）：几千条标注数据就够
• 复杂的识别任务（比如识别产品缺陷）：至少几万条标注数据
• 大语言模型微调：至少几十万条高质量数据

数据质量好不好。数据质量包括：

• 准确性：数据是对的，不是错的
• 完整性：数据没有缺失，或者缺失比例很低
• 一致性：不同系统的数据能对齐，格式统一
• 时效性：数据是最新的，不是过时的

数据标签有没有。监督学习需要标注数据：每条数据都要有"正确答案"。比如：

• 客服问答：每条问题都要有"标准答案"
• 图像识别：每张图片都要标注"这是什么"
• 文本分类：每篇文章都要标注"属于哪个分类"

标注数据的成本很高，通常是数据本身成本的 5-10 倍。

数据能不能拿到。数据可能散落在十几个系统里，有的系统有接口，有的系统没有；有的数据能导出，有的数据被锁在某个员工的 Excel 里。

数据合不合规。有些数据涉及用户隐私，不能随便用。比如：

• 用户的身份证号、手机号、地址
• 用户的聊天记录、浏览记录
• 用户的交易记录、财务数据

这些数据要用，必须脱敏，或者获得用户授权。

怎么做数据审计

数据审计是 AI 项目的第一步，通常需要 2-4 周。审计的内容包括：

数据在哪里。列出所有可能相关的数据源：数据库、数据仓库、日志系统、第三方服务。每个数据源都要记录：

• 数据量：多少条记录、多少 GB
• 数据格式：结构化（数据库表）还是非结构化（文本、图片）
• 访问方式：有 API 接口、能导出 CSV、还是要手工抄

数据质量如何。每个数据源抽样检查：

• 随机抽 100 条，看看有多少是错的、多少是缺失的
• 检查数据的一致性：同一个字段在不同系统里的格式是否一样
• 检查数据的时效性：最后更新时间是什么时候

数据标签情况。看看有没有现成的标注数据：

• 有没有人工标注过的数据集
• 有没有可以通过规则自动生成标签的数据
• 如果需要人工标注，成本是多少、时间要多长

数据合规性。法务部门审查：

• 哪些数据可以用、哪些不能用
• 需要哪些授权、哪些脱敏
• 有没有合规风险

数据不够怎么办

如果数据量不够，有几种补充方式：

数据增强。对现有数据做变换，生成新的数据。比如：

• 图像：旋转、翻转、调整亮度
• 文本：同义词替换、句子重组
• 音频：加噪声、调整语速

数据增强能把数据量扩大 5-10 倍，但质量不如真实数据。

迁移学习。用在大数据集上训练好的模型，微调到你的场景。比如：

• 用通用的语言模型（如 BERT）微调到你的文本分类任务
• 用通用的图像模型（如 ResNet）微调到你的图像识别任务

迁移学习能把数据需求降低 10 倍，但效果不如用大量数据从头训练。

主动学习。让模型告诉你"哪些数据最需要标注"，然后只标注那些数据。比如：

• 模型对 90% 的数据都很确定，但对 10% 的数据不确定
• 只标注那 10% 的数据，就能显著提升模型效果

主动学习能把标注成本降低 50-70%。

合成数据。用 AI 生成假数据。比如：

• 用 GAN 生成假的图像
• 用大语言模型生成假的文本

合成数据的质量不稳定，但在数据极度缺乏时可以试试。

数据治理的长期机制

数据审计是一次性的，但数据治理是长期的。要建立机制，保证数据质量持续提升：

源头把控。数据录入时就保证质量：

• 表单加验证：必填项、格式校验、范围校验
• 流程加审核：关键数据要双人确认
• 系统加约束：不允许录入明显错误的数据

定期清洗。每个月或每个季度，做一次数据清洗：

• 删除重复数据
• 补全缺失数据
• 修正错误数据

数据字典。维护一份数据字典，记录每个字段的含义、格式、取值范围。新人入职、系统对接时，都有据可查。

数据负责人。每个数据源都要有一个负责人，对数据质量负责。出了问题，知道找谁。

怎么判断能不能启动 AI 项目

可以启动：

• 数据量达到最低要求（几千条标注数据）
• 数据质量合格率超过 80%
• 数据标签已经有了，或者能在一个月内标完
• 数据能拿到，有接口或者有导出方式
• 数据合规没有问题

暂缓启动：

• 数据量不够，且没有补充方式
• 数据质量太差，合格率低于 50%
• 没有标签数据，且标注成本太高
• 数据拿不到，或者获取成本太高
• 数据合规有风险

暂缓不是不做，而是先做数据治理，等数据准备好了再启动。否则启动后也会失败，浪费时间和钱。

读完能做什么决定

• 数据准备好的五个标准：数据量、数据质量、数据标签、数据可得、数据合规
• 数据审计四步：数据在哪里、质量如何、标签情况、合不合规
• 数据不够的四种补充方式：数据增强、迁移学习、主动学习、合成数据
• 数据治理长期机制：源头把控、定期清洗、数据字典、数据负责人
• 判断标准：满足五个条件可以启动，否则先做数据治理
• 记住：AI 项目的成败，80% 取决于数据质量，不是算法