📚 课程目录第1章差分隐私工程全景

1. 差分隐私工程全景

差分隐私（Differential Privacy, DP）不是一种加密算法，也不是简单的数据脱敏，而是一套可量化、可组合、可证明的隐私保护框架。它的核心承诺是：无论某一个人的数据是否出现在数据集中，算法输出的分布几乎不变。换句话说，攻击者无法通过观察输出结果，可靠地推断出任何单个个体是否参与了统计计算。

理解这一点的关键在于“相邻数据集”的概念。设有两个数据集 D 和 D'，它们只相差一条记录（即 D' 是在 D 基础上增加或删除某一个人的数据）。若随机算法 M 对任意输出集合 S 都满足：

Pr[M(D) ∈ S] ≤ e^ε · Pr[M(D') ∈ S] + δ

则称 M 满足 (ε, δ)-差分隐私。其中 ε 称为隐私预算，控制“分布差异”的上界；δ 表示允许极小概率的“严格失败”。当 δ=0 时，就是纯 ε-差分隐私。ε 越小，隐私保护越强，但通常意味着加入的噪声越大、数据可用性越低。因此，差分隐私工程本质上是在隐私保护强度与数据可用性之间做可解释的权衡。

核心思想可以概括为三句话：

用噪声掩盖个体贡献；

用隐私预算量化保护强度；

用组合定理管理多次查询的累积风险。

威胁模型：我们到底在防谁？

差分隐私的威胁模型假设攻击者拥有强大的背景知识：他知道除目标个体之外的所有记录，甚至知道数据分布和算法逻辑。他唯一不知道的是目标个体是否在数据集中、其具体取值是什么。在这种“最坏情况”假设下，差分隐私仍然保证输出分布几乎不变，因此攻击者无法从结果中反推出个体信息。

这与传统匿名化（如 k-匿名）有本质区别。k-匿名要求每个等价类至少包含 k 条记录，但它无法抵御同质性攻击和背景知识攻击。例如，某医院发布匿名化数据，攻击者知道目标对象是 30 岁男性且住在某小区，若该等价类中所有人患同一种病，则隐私仍然泄露。差分隐私不依赖“等价类”假设，而是从概率分布层面提供可证明的保障。

工程中常见的威胁模型还包括：中心化 DP（可信聚合器收集原始数据后加噪）、本地化 DP（用户在本地加噪后上传）、分布式 DP（多方安全计算与噪声结合）。不同模型对应不同的信任假设和工程架构，选择哪种模型取决于业务场景中“谁可信”。

从定义到工程：关键挑战在哪里？

理论上的差分隐私定义简洁优美，但工程落地时会遇到一系列现实问题。首先是敏感度分析。噪声量取决于查询函数的全局敏感度 Δf，即相邻数据集上函数输出的最大变化。对于计数查询，敏感度为 1；对于求和查询，敏感度等于单条记录的最大贡献；对于均值查询，敏感度与数据范围有关。敏感度估计过高会导致噪声过大，估计过低则破坏隐私保证。

其次是隐私预算管理。每一次查询都会消耗预算，组合定理告诉我们：k 次 ε-差分隐私查询的组合满足 kε-差分隐私（基本组合）或更紧的界（高级组合）。工程系统必须记录每次查询的预算消耗，并在预算耗尽时拒绝新查询。这要求建立预算账本，对查询进行审计和配额分配。

第三是数据可用性。ε 取 0.1 时，计数查询的噪声尺度约为 1/0.1 = 10，对于小样本统计，结果可能完全被噪声淹没。工程中常采用以下策略缓解：

裁剪与归一化：限制单条记录的贡献上界，降低敏感度；
采样放大：先以概率 q 采样，再对采样数据加噪，等效于将 ε 放大到 ε/q；
高级组合：利用 Moments Accountant 或 Rényi DP 获得更紧的预算消耗界；
查询批处理：将多个查询合并为一次矩阵机制，减少组合开销。

教学示例：假设某平台要发布“每日活跃用户数”，真实值约 10,000。若采用 Laplace 机制，敏感度 Δf=1，取 ε=0.5，则噪声尺度 b=1/0.5=2，噪声标准差约 2.83。发布值在真实值附近波动，相对误差约 0.03%，可用性良好。但若查询“某小众兴趣组人数”，真实值仅 20，同样 ε=0.5，噪声标准差 2.83，相对误差可达 14%，此时需要调整 ε 或采用本地化 DP 方案。

工程实践中的典型架构

一个完整的差分隐私工程系统通常包含以下层次：数据接入层负责原始数据采集与预处理；预算管理层维护全局隐私账本，记录每个查询、每个用户、每个时间窗口的预算消耗；机制执行层根据查询类型选择 Laplace、Gaussian、指数机制或矩阵机制，并执行敏感度计算与噪声注入；结果发布层对加噪结果进行后处理（如取整、截断、排序），后处理不会增加隐私风险；审计与监控层记录所有查询日志，检测异常预算消耗模式。

在机器学习场景中，差分隐私随机梯度下降（DP-SGD）是主流方案。其核心操作是：对每个样本计算梯度，进行梯度裁剪（限制单样本梯度范数），然后对裁剪后的梯度求和并加入高斯噪声，最后更新模型参数。裁剪范数 C 和噪声尺度 σ 共同决定隐私预算消耗。训练轮数越多，预算消耗越大，因此需要在模型精度和隐私保护之间寻找平衡点。

常见误区：认为“加了噪声就安全”。实际上，如果噪声机制选择不当、敏感度计算错误、或者预算管理缺失，攻击者仍可通过多次查询平均化噪声，逐步还原真实值。差分隐私的安全性依赖于严格的数学证明和完整的工程实现，任何环节的疏漏都可能导致隐私泄露。

从风险到落地的判断路径

面对一个具体业务场景，工程团队可以按以下路径判断如何引入差分隐私：首先识别数据中的个体粒度和敏感属性；然后确定信任模型——数据收集方是否可信，是否需要本地化加噪；接着选择查询类型和敏感度计算方法；再根据业务对可用性的要求，反推可接受的 ε 范围；最后设计预算分配策略和监控告警机制。整个过程不是一次性的，而是需要持续迭代：上线后观察下游任务精度、用户反馈和预算消耗速率，动态调整参数。

差分隐私工程的全景可以用一句话概括：以数学定义为锚点，以威胁模型为边界，以预算管理为约束，以可用性评估为反馈，构建可证明、可运营、可扩展的隐私保护系统。这既是技术挑战，也是工程艺术。