3. 模型卡片的数据规范

好，咱们进入模型卡片的第三个核心模块——数据规范。

说实话，我见过太多团队把模型卡片写成了「模型说明书」，光顾着吹模型结构多牛、参数多强，结果数据部分就写一句「使用了公开数据集」。嗯，这其实是个大坑。数据是模型的粮食，粮食有问题，再好的厨子也白搭。

3.1 训练数据描述：你得说清楚「喂了什么」

我个人习惯，写训练数据描述时，脑子里要过一遍这个问题：如果别人拿到这段描述，能不能复现出差不多的数据分布？

需要包含的核心字段，我列了个清单：

3.2 数据来源：追根溯源，别当甩手掌柜

数据来源这块，很多人觉得「写个链接不就完了？」——没那么简单。

我曾经在一个金融风控项目里踩过坑。合作方说数据来自「某公开征信数据集」，结果模型上线后效果暴跌。一查才发现，对方用的其实是经过脱敏和采样的版本，分布早就变了。从那以后，我对数据来源的描述要求就变成了「三要素」：

• 原始出处：谁采集的？什么渠道？有没有授权？
• 获取方式：是直接下载的？还是通过 API 拉取的？有没有付费？
• 使用限制：能不能商用？有没有隐私约束？

举个例子，如果你用了 Common Crawl 的数据，不能只写「来自 Common Crawl」。你得说明是哪个快照、什么时间、用了什么过滤规则。不然别人拿到你的模型，想排查数据问题都无从下手。

3.3 数据预处理：把「脏活」讲清楚

数据预处理，说白了就是「把原始数据变成模型能吃的样子」。这一步最容易被低估，但往往决定了模型的天花板。

我习惯把预处理分成三个层级来写：

1. 清洗层：去重、去噪、处理缺失值。比如「去除了长度小于 5 个字符的文本」或「删除了标注置信度低于 0.8 的样本」。
2. 转换层：归一化、分词、数据增强。比如「对图片做了随机裁剪和色彩抖动」或「对文本进行了 BPE 分词，词表大小 32K」。
3. 过滤层：基于规则或模型做质量筛选。比如「用困惑度过滤了低质量文本」或「移除了包含敏感词的样本」。

这里有个细节要注意——预处理顺序。先清洗还是先转换？顺序不同，结果可能差很多。我建议在模型卡片里明确写出 pipeline 的流程。

# 我常用的预处理流程示例
1. 原始文本 → 去重（MD5 去重）
2. 去重文本 → 长度过滤（保留 10-512 字符）
3. 过滤文本 → 语言检测（仅保留中文占比 > 80%）
4. 中文文本 → 敏感词过滤（基于关键词列表）
5. 最终数据 → BPE 分词（词表大小 32K）

3.4 数据偏差分析：别等出事了再后悔

数据偏差，是模型公平性的头号杀手。你想想看，如果训练数据里 90% 都是男性用户，模型对女性用户的预测能准吗？

我一般从四个维度做偏差分析：

为什么会这样？说白了，数据偏差不是「有或没有」的问题，而是「多大程度」的问题。我建议在模型卡片里至少给出两个指标：

• 偏差量化指标：比如各分组的样本占比、KL 散度等
• 已知偏差说明：坦诚地列出你发现了哪些偏差，以及你做了什么（或没做什么）来缓解

3.5 一个完整的示例

最后，我拿一个实际项目里的数据规范片段给你看看，找找感觉：

## 训练数据描述
- 数据集：中文电商评论数据集 v3
- 总量：200 万条评论，约 1.2GB
- 标注：情感极性（正面/负面/中性），3 人标注 + 投票
- 时间：2023.03 - 2023.09

## 数据来源
- 原始出处：某电商平台公开评论接口（已授权）
- 获取方式：API 每日拉取，限速 1000 条/分钟
- 使用限制：仅限学术研究，不可商用

## 数据预处理
1. 去重：基于评论 ID 和内容 MD5 去重
2. 清洗：去除 HTML 标签、表情符号（保留文字）
3. 过滤：长度 10-500 字符，语言检测为中文
4. 分词：Jieba 分词，保留词性为 n/v/a 的词

## 数据偏差分析
- 人口统计：未采集用户信息，无法分析
- 选择偏差：仅包含有评论的商品，无评论商品未覆盖
- 标注偏差：标注者间一致性 Kappa=0.82（较高）
- 时间偏差：数据集中在 2023 年，需关注时效性