4. 数据描述与溯源：数据来源说明、数据预处理流程、数据分布特征、数据偏差与局限性

数据，说白了就是模型的「口粮」。你喂什么，模型就学什么。我见过太多项目，模型结构调得天花乱坠，最后栽在数据上。嗯，这一章咱们就聊聊数据这块儿最容易踩的坑。

4.1 数据来源说明：别让模型「吃坏肚子」

数据从哪来，必须说清楚。这不是走形式，而是为了后续排查问题时有据可查。我个人习惯在模型卡片里至少写清楚三点：

• 采集渠道：是公开数据集、爬虫抓取、还是业务日志？
• 时间范围：数据是什么时候采集的？我遇到过用2019年的数据训练2023年的模型，效果自然惨不忍睹。
• 授权情况：有没有版权问题？能不能商用？

数据来源	类型	规模	时间范围	授权
Common Crawl	网页文本	50TB	2022-01 ~ 2022-12	CC BY 4.0
内部客服日志	对话记录	200万条	2023-01 ~ 2023-06	内部授权
人工标注数据	分类标签	10万条	2023-07	自采

4.2 数据预处理流程：从「脏数据」到「干净数据」

原始数据就像刚从地里拔出来的萝卜，带着泥。预处理就是洗萝卜、削皮、切块的过程。你想想看，如果萝卜没洗干净，做出来的菜能好吃吗？

我一般把预处理流程分成这几步：

1. 去重：重复数据会让模型「偏食」。我习惯用MinHash或SimHash做近似去重。
2. 清洗：去掉HTML标签、特殊字符、乱码。嗯，这里要注意，别把有用的信息也删了。
3. 标准化：统一编码、统一格式。比如日期全部转成YYYY-MM-DD。
4. 过滤：去掉低质量数据。比如长度小于10个字符的文本、分辨率低于100x100的图片。

# 一个简单的文本预处理示例
import re

def clean_text(text):
    # 去掉HTML标签
    text = re.sub(r'<[^>]+>', '', text)
    # 去掉多余空白
    text = re.sub(r'\s+', ' ', text).strip()
    # 过滤过短文本
    if len(text) < 10:
        return None
    return text

4.3 数据分布特征：摸清数据的「脾气」

数据分布，说白了就是数据长什么样。你得知道你的数据是胖是瘦、是高是矮。我刚开始做NLP时，总觉得这步可有可无，直到有一次模型在长文本上表现极差，一查才发现训练数据里90%都是短文本。

我建议至少分析这几个维度：

• 长度分布：文本长度、图片尺寸、音频时长
• 类别分布：各个类别的样本数量是否均衡
• 数值分布：均值、中位数、标准差、最大值、最小值

举个例子，文本分类任务的数据分布可能长这样：

类别	样本数	占比	平均长度
正面	45,000	45%	128字
负面	40,000	40%	95字
中性	15,000	15%	72字

4.4 数据偏差与局限性：承认「不完美」

没有完美的数据。你想想看，数据是人采集的、人标注的，怎么可能没有偏差？我见过最典型的偏差有三种：

• 采样偏差：数据只覆盖了部分场景。比如只采集了工作日的用户行为，周末的数据完全没有。
• 标注偏差：标注员的主观判断不一致。同一个样本，不同人可能给出不同标签。
• 时间偏差：数据过时了。比如用疫情前的数据训练模型，去预测疫情后的消费行为。

在模型卡片中，数据局限性部分我建议这样写：

数据局限性说明：
1. 本数据集主要来自华东地区，对其他地区的泛化能力未经验证。
2. 标注一致性为85%，存在约15%的标注噪声。
3. 数据采集时间为2022年，可能无法反映最新趋势。

最后总结一句：数据描述与溯源，不是写给别人看的「作业」，而是帮你和你的团队理清思路、避免踩坑的「地图」。把数据说清楚，模型才能走得更远。