三、数据采集与合规：公开数据爬取、API获取、第三方数据购买、隐私法规（GDPR/CCPA）、数据使用伦理与合规风险
另类数据处理的第一步是获取数据，但获取方式本身即埋藏着法律与伦理的暗礁。公开数据爬取、API调用、第三方购买是三条主流通道，各自对应不同的技术约束、成本结构和合规边界。与此同时，GDPR（欧盟《通用数据保护条例》）与CCPA（加州《消费者隐私法案》）为代表的隐私法规，正在重塑全球数据流通的底层规则。本章聚焦于数据采集环节的合规框架、操作路径与风险控制，帮助从业者在“数据可得性”与“合规安全性”之间建立可执行的平衡策略。
3.1 公开数据爬取：技术可行性与法律边界
核心原理
公开数据爬取是指通过自动化程序抓取互联网上可公开访问的信息。其核心原理在于：“公开可访问”不等于“自由可使用”。爬虫程序通过HTTP请求获取网页内容，解析HTML或JSON结构，提取结构化字段。但法律上，爬取行为可能触及三重边界：网站服务条款（ToS）的合同约束、著作权法对内容复制的限制、以及隐私法规对个人信息收集的规范。
判断方法与操作流程
在启动爬虫项目前，应执行以下合规性评估流程：
- 检查robots.txt：确认目标网站是否明确禁止爬取特定路径。
- 审阅服务条款：多数网站ToS禁止未经授权的自动化访问，即使数据本身公开。
- 评估数据性质：区分事实性数据（如股价、汇率）与创造性表达（如新闻评论、用户帖子）。
- 控制请求频率：设置合理延时（如1-5秒/请求），避免对目标服务器造成压力。
- 身份标识：在User-Agent中注明爬虫身份和联系方式，便于网站管理员联系。
| 评估维度 | 合规要点 | 风险等级 | 应对措施 |
|---|---|---|---|
| robots.txt | 是否明确禁止爬取 | 中 | 遵守规则或放弃该路径 |
| 服务条款 | 是否禁止自动化访问 | 高 | 获取书面授权或改用API |
| 数据敏感性 | 是否含个人信息 | 极高 | 匿名化处理或停止采集 |
| 请求频率 | 是否影响网站稳定性 | 中 | 限速、限并发、错峰 |
| 内容版权 | 是否复制受保护表达 | 中高 | 仅提取事实数据，不存储原文 |
案例拆解：某量化团队爬取财经新闻的合规改造
背景与约束：某量化团队需要从5个财经新闻网站采集标题和发布时间，用于构建市场情绪因子。初始方案为每5分钟全站爬取，日均请求量约50万次。
初始现象：运行两周后，两个网站封禁了该团队IP，一个网站发送了律师函警告。
分析判断：团队复盘发现：①未检查robots.txt，其中一个网站明确禁止爬取“/news/*”路径；②请求频率过高，峰值达50 QPS；③采集内容包含记者撰写的标题文本，涉及著作权风险。
实际操作步骤：
- 停止所有爬虫活动，清理已采集数据。
- 逐一检查目标网站的robots.txt和ToS，标记允许爬取的路径。
- 对允许爬取的网站，将请求频率降至2 QPS，并增加随机延时。
- 对不允许爬取的网站，改用其官方RSS订阅或付费API。
- 调整采集字段：仅保留URL、发布时间、来源域名，不存储标题原文。
结果对比：改造后，数据量减少约40%，但合规风险显著降低。团队与两个网站达成数据使用协议，获得稳定数据源。律师函事件未升级为诉讼。
复盘经验：爬虫项目启动前必须完成合规评估清单，将“数据可用性”与“法律风险”同步考量，而非事后补救。
3.2 API获取：规范通道与密钥管理
核心原理
API（应用程序接口）是数据提供方主动开放的标准化访问通道。相比爬虫，API具有三重优势：授权明确（使用即表示同意条款）、结构规范（返回标准化JSON/XML）、配额可控（提供方限制调用频率）。但API同样存在合规陷阱：密钥泄露、超范围使用、数据再分发限制等。
操作流程与最佳实践
- 密钥管理：使用环境变量或密钥管理服务（如AWS KMS、Vault）存储，禁止硬编码在代码仓库中。
- 配额监控：建立调用量监控面板，设置告警阈值（如使用率达80%时预警）。
- 条款审阅：重点检查“数据使用范围”“是否允许缓存”“是否允许转售或再分发”条款。
- 版本兼容：关注API版本更新通知，避免因接口变更导致服务中断。
常见误区
误区一：认为付费API即“完全合规”。实际上，付费仅代表获得访问权，不代表获得再分发权。误区二：将提交到GitHub公开仓库，导致数据被他人滥用，提供方可能因此封禁整个机构的访问权限。误区三：忽略API条款变更通知，旧条款允许的行为在新条款下可能变为违规。
3.3 第三方数据购买：授权链验证与数据溯源
核心原理
第三方数据购买是另类数据获取的重要渠道，尤其适用于卫星影像、信用卡消费聚合、移动设备地理位置等难以自行采集的数据。其核心原理是“授权链完整性”：数据提供方必须证明其拥有数据的合法权利，且该权利可延伸至最终用户。若授权链断裂，下游使用者同样面临法律风险。
判断方法与尽调清单
| 尽调项目 | 具体内容 | 验证方式 |
|---|---|---|
| 数据来源 | 原始采集方是谁？是否获得数据主体同意？ | 要求提供授权文件副本 |
| 授权范围 | 是否允许转售？是否限制使用行业或地域？ | 审阅合同条款 |
| 数据时效 | 数据更新频率？历史数据回溯深度？ | 测试样本数据 |
| 匿名化程度 | 是否包含可识别个人信息？ | 抽样检查字段 |
| 违约责任 | 若数据来源方违规，购买方是否承担连带责任？ | 合同条款审阅 |
案例拆解：某基金公司采购信用卡消费数据的合规审查
背景与约束：某基金公司拟采购信用卡消费聚合数据，用于构建居民消费景气指数。数据供应商声称数据已匿名化，覆盖5000万张信用卡。
初始现象：法务部门在合同审查中发现，供应商未提供原始数据采集方的授权文件，且匿名化方案仅去除了姓名和卡号，保留了邮编、性别、年龄段等字段。
分析判断：根据GDPR的“假名化”标准，保留邮编+性别+出生日期仍可能识别到具体个人，属于个人信息范畴。供应商的“匿名化”声明不成立。
实际操作步骤：
- 要求供应商提供原始数据采集方的授权协议副本。
- 委托第三方机构对数据样本进行重识别风险评估。
- 在合同中增加“数据来源合法性保证”条款，约定若因数据来源违法导致损失，由供应商全额赔偿。
- 要求供应商提供数据删除机制，确保数据主体行使删除权时能及时响应。
结果对比：供应商无法提供完整授权链文件，基金公司终止了采购谈判。三个月后，该供应商因数据来源违法被监管机构调查，其客户中多家机构被牵连。
复盘经验：数据采购不能仅看样本质量和价格，授权链完整性是底线要求。建议建立“数据供应商准入清单”，定期复审。
3.4 隐私法规与数据使用伦理
核心原理
GDPR与CCPA是当前全球最具影响力的两部隐私法规。GDPR适用于处理欧盟居民个人数据的任何组织，无论其所在地；CCPA适用于加州居民，且对“出售”个人数据有严格限制。两部法规共同确立了“数据主体权利优先”的原则：个人有权知晓数据被收集、有权要求删除、有权选择退出出售或共享。
合规操作框架
- 合法基础：GDPR要求数据处理必须有合法基础（如同意、合同履行、合法利益）。另类数据场景中，“合法利益”需进行平衡测试，证明数据处理权益高于个人隐私权益。
- 数据最小化：仅收集实现特定目的所必需的最少数据。例如，构建情绪因子只需新闻标题和发布时间，无需采集作者个人信息。
- 跨境传输：GDPR限制向欧盟以外传输个人数据。若使用美国云服务存储欧盟用户数据，需确保有标准合同条款或充分性认定。
- 数据主体权利响应：建立机制处理访问、更正、删除、反对等请求，响应时限通常为30天。
常见误区与总结
误区一：认为“匿名化”数据不受隐私法规约束。实际上，若匿名化不彻底（如保留邮编+出生日期），仍可能被认定为个人信息。误区二：认为数据来自国外就无需遵守GDPR。只要涉及欧盟居民数据，GDPR即适用。误区三：将合规视为一次性工作。法规在演进（如CPRA修订CCPA），数据使用场景在变化，合规必须是持续过程。
总结复盘：数据采集合规的核心是建立“来源可溯、授权清晰、用途受限、风险可控”的管理体系。建议每季度执行一次数据资产合规审计，更新数据来源清单，跟踪法规变化。在投资信号提取场景中，合规不仅是成本中心，更是数据质量的保障——合规的数据源通常更稳定、更可持续，长期来看反而提升策略的可靠性。