📚 课程目录第3章数据收集与标注

数据收集与标注：如何获取敏感数据集，标注规范与质量控制

数据收集和标注，说白了就是给模型喂饭。饭不对路，模型就是再聪明也白搭。我个人最喜欢用“垃圾进垃圾出”这句话来提醒团队——你标注得有多烂，模型就学得有多歪。

这个环节往往占了整个项目 70% 的时间。别嫌多，值得。今天我把自己踩过的坑、试过的好办法，都摊开来聊聊。

敏感数据的来源

敏感数据不好找，这是实话。你想啊，身份证号、银行卡、医疗记录……这些东西谁愿意随便给？我刚开始做这个课题时，天天泡在合规部门门口，就为了搞清楚“到底能不能用”。

常见的获取途径有三个，我整理了一个表格方便对比：

来源	典型例子	优点	风险点
公开数据集	Enron Email、US Census、WikiLeaks 脱敏版	零成本，可直接用	隐私法规模糊，需自行审核是否真脱敏
合成数据	用 GAN / 规则引擎生成虚拟 PII	无隐私风险，可控制分布	分布可能偏离真实数据，泛化差
实际业务脱敏数据	日志脱敏后（替换、屏蔽、泛化）	最接近真实场景，模型效果最好	合规审批流程长，脱敏可能损失特征

我个人更偏爱“实际业务脱敏数据 + 合成数据混搭”。为什么？你想想看，纯脱敏数据可能漏掉某些边缘情况，而合成数据能补上这些坑。我之前负责一个项目，脱敏后的数据里几乎找不到“外国人护照号”的样本，后来用规则生成了一批，模型召回率直接提了 12 个点。

警告：不管用哪种来源，一定要过法务合规审核。我曾经有个团队私自用了爬虫抓来的“公开个人信息”，结果被起诉要求赔偿。数据合规不是儿戏，别省这一步。

数据标注规范：少走弯路的铁律

标注规范是给标注员看的，也是给你自己看的。你没法指望标注员能猜出你想要什么。

我的做法是：先写一份《标注指南》，然后做 3 轮试点标注，再根据反馈修改指南。这份指南至少包含：

标签体系：比如 PERSON（姓名）、ID_NUMBER（身份证号）、PHONE（手机号）、ADDRESS（地址）等，每个标签要有明确的正例/反例。
边界定义：“张三”算 PERSON，那“张三的朋友”呢？标注员需要知道只标注核心实体，不标注修饰语。
特殊规则：连续数字是否全标？如“12345678”，如果上下文是“密码为12345678”则标为 PASSWORD；如果是“单号为12345678”则标为 ORDER_ID。
格式要求：输出 JSON 或 BIO 标签序列。我习惯用 BIO（Begin-Inside-Outside）格式，方便下游模型直接吃。

举个例子，一句“我的身份证号是110101199001011234”应该标注为：

{
  "text": "我的身份证号是110101199001011234",
  "entities": [
    {
      "start": 7,
      "end": 24,
      "label": "ID_NUMBER",
      "mention": "110101199001011234"
    }
  ]
}

这里你可能会问，为什么不直接用正则去匹配？嗯，正则确实能抓出 18 位数字，但你要考虑伪阳性：例如图书编号、流水号也可能符合格式。我遇到过最离谱的正则匹配——把“111111111111111111”这种测试数据也当成身份证抓了出来。所以说，人工标注和规则是互补的，不能替代。

技巧：在标注指南里，加入“易混淆案例”表格。比如“手机号”和“座机号”的区别：“138xxxxxxxx”是手机号，“010-xxxxxxx”是座机号。把常见误标场景写进去，能省不少返工时间。

质量控制：别让标注员“自由发挥”

标注质量直接决定模型天花板。我见过太多项目花半年标注出来的数据，一半都是错的。怎么控？我分享三个步骤：

一致性检查：同一份数据给两个不同标注员标，对比差异。差异率超过 10% 说明指南不清楚，必须修改并重新培训。
抽检复核：标注完成后，项目经理随机抽 20% 的数据，由资深标注员逐条复核。我习惯用“双盲+仲裁”机制——两个人先各标一遍，不一致的地方由第三个人仲裁。
混淆矩阵监控：定期计算标注结果与专家标注的混淆矩阵，重点关注低召回率的标签。比如 PHONE 标签的召回率只有 70%，那就要看是不是漏标了短号、分机号等情况。

我曾经用过一个笨办法——在标注平台里埋“黄金测试题”。把已经知道正确答案的数据随机混入任务流，标注员标对了加分，错了扣分。一个月下来，团队整体准确率从 85% 提到了 95%。这个方法虽然有点“土”，但确实管用。

  核心记忆点：数据标注不是一次性的活，而是“标注 → 检查 → 修正 → 再标注”的迭代循环。迭代 2～3 轮后，标注一致性一般能稳定在 95% 以上，这时候再正式放量。

标注工具与平台选择

我不用那种“开箱即用但功能死板”的商用平台。为什么？因为敏感数据标注有很多定制需求，比如遮挡、脱敏预览、多级标签级联。推荐自己搭一套轻量级标注前端 + 后管系统，或者选用开源工具二次改造。下面是几个我试过的：

Label Studio：开源，支持文本 NER、分类、BIO 导出，兼容 JSON。扩展性好，但大数据量下有卡顿。
Prodigy：付费，运行速度快，支持主动学习。但没法做多人并行标注，适合个人或小团队。
自家定制：我推荐用 React + Flask + MySQL 搞一套，前后端分离，标注模式完全自定义。缺点是需要开发维护成本，优点是隐私数据不出内网。

记得有一次，我们用 Label Studio 标注了一批银行卡号，发现平台自动把“6222 0215 3657 1234”按空格切成了 4 段，导致标注偏移。后来我们关了自动分词，改用全文本模式才解决。这些小细节，用之前一定要充分测试。

技巧：在标注界面增加一个“冲突标记”按钮。标注员遇到实在拿不准的情况，点一下按钮，系统会在后台记录并标记为待仲裁。这样可以避免标注员瞎蒙，也能帮助后续完善标注指南。

好了，数据收集和标注这块儿，核心就是“来源合规、指南清晰、质控闭环”。按这个路子走，后面模型训练会顺很多。