3. 数据可行性分析：数据源、质量、标注成本、隐私合规
数据是AI系统的核心资产，但并非所有数据都能被直接利用。本章从系统边界、分层架构、组件职责、数据流与控流、选型权衡、风险预防到落地验收，完整覆盖数据可行性分析的架构实践。
3.1 系统边界：数据源的可接入范围
数据可行性分析的第一步是明确系统边界——哪些数据源可以接入、哪些必须排除。边界由业务场景、技术条件和法律约束共同决定。
| 边界维度 | 核心问题 | 典型排除条件 |
|---|---|---|
| 业务域 | 数据是否直接支撑目标预测/分类？ | 跨域无关数据（如招聘系统使用电商行为数据） |
| 技术可达 | API/SDK/数据库/日志文件是否可编程获取？ | 无开放接口、协议私有、带宽不足的数据源 |
| 法律合规 | 是否涉及个人信息、敏感数据、跨境传输？ | 未签署数据处理协议的第三方数据 |
| 成本上限 | 单条数据获取成本是否超过预算容忍度？ | 需购买高额许可证的行业数据集 |
架构师提示：在系统设计文档中始终列出“外部数据源清单”，包含接入协议、更新频率、字段量级和授权约束，作为下游组件依赖的基线。
3.2 数据分层与质量评估
数据从原始来源到模型可消费状态，需要经历原数层 → 清洗层 → 衍生层 → 标注层的分层结构。每层负责不同的质量约束。
- 原数层（Source Layer）：保持原始格式，仅做快照备份。质量关注点：完整性（缺失率）、时效性（延迟窗口）。
- 清洗层（Cleaning Layer）：去重、格式统一、异常值过滤。质量关注点：噪声比例、重复率。
- 衍生层（Derived Layer）：特征工程、聚合统计、数据脱敏。质量关注点：特征覆盖度、相关性。
- 标注层（Label Layer）：人工/半自动标注、一致性校验。质量关注点：标注噪声、类间一致性。
下面给出数据可行性分析的整体流程，包含质量门禁和成本权衡节点：
3.3 标注成本与组件职责
标注成本是数据可行性评估中最不可忽视的经济因素。架构上需要拆解为成本核算组件和标注质量管控组件。
- 成本核算组件：输入为样本量、标签复杂度（单类别/多标签/序列标注）、人员时薪、二次校验比例；输出为单位样本成本与总预算预测。
- 质量管控组件：设置内部一致性检查（同一任务分给多人）、外部黄金标准集（预设答案测试）、标注者等级回溯。
典型标注成本计算示例（基于假设日标注效率）：
# 成本估算脚本片段（Python）
sample_count = 50000
labels_per_sample = 3
avg_time_per_label = 10 # 秒
worker_hourly_rate = 12 # 美元
overhead_rate = 0.3 # 管理/质检开销
total_hours = (sample_count * labels_per_sample * avg_time_per_label) / 3600
base_cost = total_hours * worker_hourly_rate
total_cost = base_cost * (1 + overhead_rate)
print(f"总成本估算：${total_cost:.2f}")
选型权衡：当单位样本标注成本 > 模型部署后预估收益时，应优先考虑主动学习采样或弱监督信号降低标注量，而非盲目扩充数据集。
3.4 数据流与控制流
数据流遵循“源 → 清洗 → 特征 → 标注 → 训练/验证”的单向管道，控制流则在每个阶段设置质量门禁与成本校验回馈。
| 阶段 | 数据流输入 | 控制流输出 |
|---|---|---|
| 原数层 | 原始日志/数据库/API响应 | 接入状态码、延迟毫秒数 |
| 清洗层 | 原始结构化/非结构化数据 | 缺失率、异常样本数 |
| 衍生层 | 清洗后数据 | 特征覆盖率、无效特征标记 |
| 标注层 | 特征数据集 | 标注噪声率、一致性得分 |
3.5 选型权衡：成本 vs 质量 vs 合规
三元素构成不可能三角：
- 高质量 + 严格合规 → 标注成本大幅上升（需法务审查、匿名化处理、使用合法数据供应商）。
- 低成本 + 高质量 → 合规风险高（如使用爬虫数据、未授权公开数据）。
- 低成本 + 合规 → 质量让步（接受较高噪声、使用合成数据或弱标签）。
架构决策必须基于项目风险承受能力，给出优先级排序。例如金融反欺诈场景优先合规，原型验证项目优先低成本快速迭代。
3.6 风险点
| 风险类别 | 具体场景 | 架构应对 |
|---|---|---|
| 数据源变更 | 外部API增加认证、字段废弃 | 数据源适配层 + 熔断降级 |
| 标注质量漂移 | 标注人员疲劳导致后序标注准确率下降 | 实时抽检 + 众包回溯奖励 |
| 隐私合规突增 | 新版《数据安全法》要求全链路记录 | 数据血缘追踪组件 + 审计日志 |
| 成本超预算 | 实际标注速度低于预期 | 动态预算预警 + 主动学习裁剪 |
避坑提醒：不要在数据可行性阶段拒绝所有风险数据源。应设计“有条件准入”策略，通过脱敏层、数据使用协议、限制字段范围等方式将高风险数据纳入系统。
3.7 落地步骤
- 盘点数据源清单：列出所有可接入的数据库、日志、API、购买数据集，标注接入难度与法律风险。
- 搭建质量评估管道：编写脚本对每个来源计算缺失率、异常值比例、时间跨度覆盖。
- 标注成本仿真：选取500～1000条样本进行小规模预标注，获得真实成本系数。
- 隐私合规审查：按GDPR/《个人信息保护法》逐项核对数据字段，标记敏感字段并设计脱敏策略。
- 准入决策会议：输出《数据可行性评估报告》，包含通过/有条件通过/拒绝三个结论。
3.8 验收标准
- 数据源清单覆盖所有预期输入，无遗漏。
- 质量评估管道输出每层数据质量指标（缺失率、噪声率、重复率）且满足阈值（可配置默认值）。
- 标注成本预算在允许范围内，含20%缓冲。
- 隐私合规审查报告获得法务/合规部门签字。
- 数据准入决策记录、回退路径、替换方案均在架构文档中明确。