4. 数据来源合法性审查

生成式AI应用的数据来源合法性审查,不能只问一句“数据是不是网上公开的”。同一批数据在训练、微调、提示词三个环节承担的功能不同,法律风险的类型和强度也不同:训练数据关注的是大规模复制与模型记忆风险,微调数据关注的是标注质量与权利链条的可追溯性,提示词数据关注的是用户输入与业务信息在推理时的即时暴露。因此,审查应当按“数据层—权利层—控制层”三条线并行推进。

一、先分清三类数据的法律角色

训练数据是用于预训练或继续预训练的大规模语料,核心风险是版权作品的复制与改编、个人信息的大规模处理、以及数据库的实质性部分提取。微调数据是用于指令微调、对齐或领域适配的样本对,通常规模较小但质量要求高,核心风险是样本来源不明、标注权利未取得、以及把商业秘密写进样本。提示词数据是用户在使用阶段输入的文本、文件、图片或检索结果,核心风险是个人信息与商业秘密的即时上传、以及第三方内容的二次使用。

三类数据的审查强度应与其可识别性和可追溯性匹配:训练数据量大、来源杂,适合做“来源分类+抽样核验”;微调数据量小、价值高,适合做“逐条溯源+授权留痕”;提示词数据实时产生,适合做“入口控制+分类分级+日志审计”。

三类数据来源合法性审查:权利层与控制层 训练数据 大规模语料 / 预训练与继续预训练 来源分类 + 抽样核验 微调数据 指令样本 / 对齐与领域适配 逐条溯源 + 授权留痕 提示词数据 用户输入 / 推理时实时产生 入口控制 + 分类分级 + 日志审计 权利层:四类权利交叉审查 版权 复制权 / 改编权 / 汇编权 合理使用与许可边界 个人信息 告知同意 / 最小必要 去标识化与匿名化 商业秘密 非公知性 / 保密措施 员工与供应商保密义务 数据库权利 实质性部分提取 爬取协议与robots 控制层:从入口到留痕的闭环 来源登记 URL / 授权书 / 时间戳 采集方式与范围 分类分级 公开 / 受限 / 敏感 个人信息与商密标记 技术过滤 去重 / 脱敏 / 黑名单 版权作品识别与剔除 权限隔离 训练 / 微调 / 推理分域 最小权限与审批 审计留痕 日志与版本 可回溯可举证

二、版权审查:从“是否受保护”到“是否可用”

版权审查的第一步不是判断作品好坏,而是判断“这份材料是否受版权保护、保护期是否届满、我们使用的方式是否落入专有权利范围”。对训练数据,重点看是否复制了受保护表达、是否进行了改编性使用、是否构成对原作品的替代性市场影响。对微调数据,重点看样本是否来自第三方付费内容、是否包含未授权的翻译或摘要。对提示词数据,重点看用户上传的文档是否为其有权使用的材料。

实操中可采用“三问法”:第一问,来源是否可追溯?能提供原始URL、授权书、采购合同或开放许可协议(如CC BY、CC0)的,进入白名单;第二问,许可是否覆盖AI训练与推理?很多素材授权只覆盖“展示”或“内部研究”,不覆盖“模型训练”和“商业输出”;第三问,是否存在不可移除的权利管理信息?如果数据中带有水印、作者署名或版权声明,过滤时应保留而非删除。

示例:某团队拟用一批公开论文摘要做微调。审查发现其中约12%的摘要来自需订阅的数据库,且授权条款禁止“文本与数据挖掘”。该部分应剔除或替换为开放获取版本,并保留替换记录。

三、个人信息审查:区分“可识别”与“已匿名”

个人信息审查的核心是识别“可识别性”。训练数据中的人名、邮箱、身份证号、手机号、住址、设备标识、精确位置等,属于直接标识符;而职业、年龄区间、消费偏好等,在与其他字段组合后可能形成间接标识。微调数据中,客服对话、病历摘要、合同文本往往同时包含个人信息与商业秘密,风险更高。提示词数据则可能在用户不知情的情况下上传客户名单、员工信息或未脱敏的工单。

审查方法上,建议对每一批数据执行“字段级扫描+组合识别测试”。字段级扫描用于发现显性标识符;组合识别测试用于判断“去掉姓名后,是否仍能通过部门+工号+项目名称定位到具体个人”。如果仍可定位,则不能视为匿名化,只能视为去标识化,仍需遵守个人信息保护要求。对确需保留的个人信息,应取得单独同意或具备其他合法性基础,并记录处理目的、方式和期限。

四、商业秘密与数据库权利审查

商业秘密审查要抓住三个要件:非公知性、商业价值、保密措施。训练数据中如果混入企业内部文档、未公开的报价单、客户合同、源代码注释,即使只是“内部可见”,也可能构成商业秘密。微调数据中,若把内部SOP、故障处理手册、定价策略作为样本,模型可能在其他用户提问时复述出来。提示词数据中,员工把未公开的并购信息粘贴进对话框,同样构成泄露风险。

数据库权利审查则关注“实质性部分提取”。如果训练数据来自对某网站数据库的系统性爬取,且爬取量达到该数据库实质性部分,即使单条数据本身不构成作品,也可能侵犯数据库制作者的权利。审查时应核对目标网站的robots.txt、用户协议、API条款,并保留爬取范围、频率和字段清单。对明确禁止爬取的站点,应停止采集并评估已采集数据的处置方式。

五、可直接使用的审查记录表

为了让审查可复现、可举证,建议对每批数据建立一条审查记录。以下为示例字段,实际使用时可按项目调整:

字段 填写要求 示例
数据批次编号 唯一编号,与版本库对应 TR-2024-011
数据用途 训练 / 微调 / 提示词 微调
来源与授权 URL、合同号、许可类型 开放获取论文,CC BY 4.0
版权结论 可用 / 需替换 / 禁用 可用,保留署名
个人信息结论 是否含标识符、是否匿名化 含作者姓名,已去标识化
商业秘密结论 是否含非公开信息 无
数据库权利结论 是否系统性爬取 否,单篇下载
处置动作 剔除、替换、脱敏、留痕 保留,记录来源URL

六、审查结论如何落到工程动作

审查结论不能停留在文档里,必须转化为可执行动作。对训练数据,建立“来源白名单+黑名单+抽样复核”机制,白名单数据可直接进入训练管线,黑名单数据在采集端拦截,灰名单数据需人工复核后才能入库。对微调数据,实行“逐条登记+双人复核”,每条样本记录来源、授权和脱敏状态,未通过复核的样本不得进入训练集。对提示词数据,在应用入口设置分类分级提示与敏感信息检测,对包含个人信息或商业秘密的输入进行告警、脱敏或拒绝处理,并保留审计日志。

最后需要强调的是,数据来源合法性审查不是一次性动作,而是伴随数据版本迭代的持续过程。每一次数据更新、每一次模型再训练、每一次提示词模板调整,都应触发对应批次的重新审查。只有把审查记录、技术过滤和权限隔离三者绑定,才能在出现争议时提供可回溯的证据链,也才能让生成式AI应用在合规前提下持续迭代。