1. 数据采集陷阱：爬虫合法性边界、API调用频率限制、公开数据集版权问题、数据隐私合规（GDPR/PIPL）
做训练集的第一步，就是搞数据。听起来简单吧？
我见过太多团队，模型还没跑起来，先收到了律师函。数据采集这个环节，坑比你想的多。今天咱们就聊聊，怎么在合规的框架下，把数据稳稳拿到手。
1.1 爬虫合法性边界：别踩红线
爬虫不是你想爬，想爬就能爬。我个人习惯，动手前先问自己三个问题：
- 这个网站允许爬吗？ 看
robots.txt，这是最基本的礼貌。 - 爬下来的数据我能商用吗？ 很多网站条款里写得明明白白，禁止爬取或禁止商用。
- 我爬的频率会不会把人服务器搞崩？ 这是技术问题，也是道德问题。
说白了，爬虫的合法性取决于三个维度：
| 维度 | 具体内容 | 风险等级 |
|---|---|---|
| 技术层面 | 是否绕过反爬机制（如验证码、IP封锁） | 中 |
| 协议层面 | 是否违反 robots.txt 或网站服务条款 |
高 |
| 法律层面 | 是否涉及个人信息、商业秘密或受版权保护内容 | 极高 |
你想想看，很多公开数据其实是有版权的。比如新闻文章、用户评论、图片素材。你爬下来当训练数据，万一原作者追究起来，麻烦就大了。
1.2 API调用频率限制：别把自己玩死
很多平台提供API，这是最正规的数据获取方式。但API都有频率限制（Rate Limit）。
我建议你这么做：
- 先看文档：搞清楚每分钟/每小时/每天的最大请求数。
- 加延时：用
time.sleep()或异步框架控制节奏。 - 处理错误码：遇到
429 Too Many Requests，乖乖退避。
我记得有一次，团队里新来的同事没注意Twitter API的限制，直接开100个线程并发拉数据。结果账号被封了，所有正在跑的任务全部中断。嗯，那天我们加班到凌晨两点才恢复。
1.3 公开数据集版权问题：免费的往往最贵
网上有大量公开数据集，比如ImageNet、COCO、Common Crawl。但你真的仔细看过它们的许可证吗？
常见的许可证有这些：
| 许可证类型 | 允许商用 | 允许修改 | 需要署名 | 典型数据集 |
|---|---|---|---|---|
| CC0 | ✅ | ✅ | ❌ | 部分语音数据集 |
| CC BY 4.0 | ✅ | ✅ | ✅ | ImageNet |
| CC BY-SA 4.0 | ✅ | ✅（需相同方式共享） | ✅ | Wikipedia转储 |
| 非商业用途 | ❌ | 视情况 | 视情况 | 某些医疗数据集 |
我见过最惨的案例：一家创业公司用了某个学术数据集训练模型，产品上线后大卖。结果数据集原作者找上门，说数据集只允许学术研究。最后公司赔了200万，还下架了产品。
1.4 数据隐私合规：GDPR/PIPL 不是闹着玩的
如果你处理的数据涉及个人信息，那GDPR（欧盟）和PIPL（中国）就是悬在你头上的两把剑。
这两个法规的核心要求：
- 知情同意：用户必须知道你要收集什么数据，用来干什么。
- 数据最小化：只收集完成任务所必需的数据。
- 删除权：用户有权要求删除自己的数据。
- 数据匿名化：尽量去除可识别个人身份的信息。
怎么做才合规？我建议你建立一套流程：
- 数据分类：区分哪些是个人信息，哪些是敏感个人信息。
- 脱敏处理：用假名化、匿名化、差分隐私等技术处理数据。
- 记录数据来源：每一条数据从哪来，谁授权的，都要有日志。
- 建立删除机制：用户要求删除时，能快速响应。
你想想看，GDPR的罚款上限是2000万欧元或全球年营收的4%。PIPL的罚款上限是5000万人民币或上年度营收的5%。这个数字，足够让任何一家公司肉疼。
知识体系总览
下面这张图，帮你理清数据采集阶段的核心逻辑：
这张图把四个核心陷阱和它们的子问题都串起来了。你可以把它当作数据采集阶段的检查清单。
好了，数据采集这块就聊到这儿。记住一句话：数据是资产，但前提是合规。别让数据采集的捷径，变成你项目的绝路。