📚 课程目录第3章模型安全威胁分析

3、模型安全威胁分析：模型窃取、逆向工程、白盒/黑盒攻击、对抗样本等常见威胁模型

Edge AI 模型部署到终端设备后，模型本身便脱离了开发者的物理控制，暴露在不可信的环境中。攻击者可以借助调试接口、存储芯片读取、侧信道分析等手段获取模型文件，进而实施模型窃取、逆向工程、白盒/黑盒攻击以及对抗样本注入等安全威胁。理解这些威胁的机理、攻击路径和判定方法，是设计加密与授权方案的前提。本章将系统梳理 Edge AI 场景下的四类核心威胁模型，并给出对应的检测思路与防护要点。

上图展示了 Edge AI 模型面临的六类主要威胁及其与模型本体的关系。其中模型窃取、逆向工程、白盒/黑盒攻击和对抗样本是本章分析的重点，侧信道分析与逻辑篡改则作为延伸威胁一并纳入威胁建模。下面逐一展开。

3.1 模型窃取：从物理介质到逻辑复制的完整攻击链

核心原理

模型窃取是指攻击者通过物理或逻辑手段获取模型文件的完整副本或关键参数，从而在不受控环境中复现模型功能。在 Edge AI 场景中，模型通常以二进制权重文件、ONNX/TFLite 格式或加密容器形式存储在 Flash、eMMC、SD 卡等非易失介质中。攻击者常用的窃取路径包括：

芯片直读：拆焊存储芯片，使用编程器或逻辑分析仪直接读取 Flash 内容。
调试接口滥用：通过 UART、JTAG、SWD 等调试端口导出内存镜像或文件系统。
固件提取：从 OTA 升级包、恢复分区或日志文件中提取模型文件。
侧信道辅助：结合功耗分析或电磁辐射，在模型加载时捕获内存总线数据。

判断方法与检测指标

判断模型是否被窃取，不能仅依赖事后发现，而应在设计阶段建立可观测性。以下指标可作为参考：

检测维度	具体方法	异常信号
物理层	检查芯片封装是否有二次开盖痕迹	引脚氧化、封胶颜色差异
系统层	监控调试端口访问日志	非授权时间段的 JTAG 连接记录
网络层	检测模型文件外传流量特征	大流量突发上传至未知 IP
行为层	对比模型推理延迟与功耗基线	同硬件上推理时间显著缩短（可能被精简复制）

实战场景：某工业视觉检测设备的模型失窃复盘

某工厂部署的 PCB 缺陷检测设备使用 Edge AI 模型，模型文件以明文存储在 eMMC 中。设备在售后维修时，维修人员通过 UART 调试口执行 dd 命令将整个 eMMC 分区导出，模型随之泄露。事后分析发现：设备未禁用调试口、未对存储内容加密、未设置安全启动校验。修复方案包括：

量产固件中关闭 UART 调试口，仅保留加密的 OTA 升级通道。
模型文件使用 AES-256-GCM 加密存储，密钥由 SoC 的 OTP（一次性可编程）区域保护。
增加启动时完整性校验，若模型哈希不匹配则拒绝加载。

风险提示：仅依赖文件加密并不足够。攻击者若获得设备 root 权限，可在模型加载时从内存中直接 dump 解密后的权重。因此必须结合安全启动（Secure Boot）和运行时内存保护（如 TrustZone）形成纵深防御。

3.2 逆向工程：从黑盒到白盒的模型结构还原

核心原理

逆向工程比直接窃取更隐蔽——攻击者即使拿到的是加密或混淆后的模型，仍可通过分析推理行为、内存访问模式、算子调用序列来还原模型结构。常见手法包括：

结构推断：通过监控推理时的内存分配和算子执行顺序，推测网络层数、卷积核尺寸、通道数。
权重恢复：利用浮点运算的数值特征，从内存快照中识别权重张量。
模型蒸馏：通过大量输入-输出对训练一个替代模型，功能等价但结构不同。

判断方法

检测逆向工程难度较大，但可通过以下方式增加攻击成本：

模型结构混淆：将标准卷积替换为自定义算子，增加结构识别难度。
权重分布扰动：对权重施加轻微随机噪声，使内存中的数值特征不再明显。
运行时自校验：在推理关键路径中插入校验点，检测模型是否被修改。

  经验之谈：模型蒸馏攻击几乎无法完全阻止，因为攻击者只需要输入-输出对。但可以通过限制 API 调用频率、增加查询成本、对异常查询模式（如大量相似输入）进行限流来降低攻击效率。

3.3 白盒/黑盒攻击：基于梯度与基于查询的对抗博弈

核心原理

白盒攻击假设攻击者完全掌握模型结构、权重和训练数据，可以计算梯度来生成对抗样本或提取模型信息。黑盒攻击则仅能通过查询接口获得输出，利用迁移性、边界估计或替代模型实施攻击。在 Edge AI 场景中，白盒攻击通常发生在模型被逆向或窃取之后；黑盒攻击则常见于云端 API 或设备端推理接口暴露的场景。

攻击类型对比

攻击类型	攻击者知识	典型方法	Edge AI 中的表现
白盒攻击	完整模型参数	FGSM、PGD、C&W	模型被窃取后生成通用对抗扰动
黑盒攻击	仅输入输出	ZOO、NES、迁移攻击	通过设备 API 反复查询构造对抗样本
基于决策的攻击	仅输出标签	Boundary Attack、HopSkipJump	针对分类器输出标签的边界搜索

实战场景：智能门禁人脸识别模型的对抗样本攻击

某智能门禁系统使用 Edge AI 人脸识别模型，攻击者在黑盒条件下通过设备提供的 HTTP 接口进行查询。攻击者首先收集 500 张人脸照片，每张照片通过接口获得相似度分数。然后使用零阶优化（ZOO）方法，在相似度分数作为反馈信号的情况下，迭代生成对抗扰动。经过约 2000 次查询，攻击者成功生成一副眼镜贴片，佩戴后可使系统将攻击者误识别为已授权人员。

防御措施包括：

在设备端增加查询频率限制（如每分钟最多 10 次）。
对返回的相似度分数进行量化（如只返回“通过/不通过”而非具体分数）。
在推理前对输入图像进行随机预处理（如随机裁剪、亮度抖动），破坏对抗扰动的稳定性。

要点：黑盒攻击的查询成本是核心瓶颈。通过限制查询频率、降低输出信息量、增加输入随机性，可以显著提高攻击者的时间成本和资金成本。

3.4 对抗样本：物理世界中的输入级威胁

核心原理

对抗样本通过在输入数据上添加精心设计的微小扰动，使模型产生错误输出。在 Edge AI 中，对抗样本不仅存在于数字域（如图像像素修改），还可能以物理形式出现——例如在路标上粘贴贴纸、在语音中叠加人耳不可感知的噪声。对抗样本的生成通常依赖梯度信息（白盒）或查询反馈（黑盒），但物理世界攻击还需要考虑打印误差、光照变化、视角偏移等现实因素。

判断方法与检测流程

输入检测：使用对抗样本检测器（如 Local Intrinsic Dimensionality, LID）判断输入是否异常。
输出一致性：对输入进行轻微变换（如旋转 1°、亮度调整 5%），若输出发生剧烈变化，则可能为对抗样本。
模型鲁棒性评估：定期使用对抗攻击工具（如 Foolbox、ART）对模型进行自测。

案例拆解：自动驾驶交通标志识别攻击

某自动驾驶团队在测试中发现，其交通标志识别模型在晴天环境下准确率为 98.7%，但在特定角度和光照下，对“停止”标志的识别准确率降至 61.2%。进一步分析发现，攻击者在标志上粘贴了黑白相间的条纹贴纸，该贴纸在特定视角下触发了模型的错误分类。团队通过以下步骤解决：

采集物理世界对抗样本数据，加入训练集进行对抗训练。
在模型前增加图像预处理模块，对输入进行中值滤波和直方图均衡化。
部署基于集成学习的检测器，对多个模型的输出进行交叉验证。

注意：对抗训练可能降低模型在正常样本上的准确率。建议采用“对抗训练 + 输入预处理 + 输出校验”的组合方案，而非单一依赖对抗训练。

3.5 威胁建模与防护优先级

综合上述威胁，Edge AI 模型安全防护应遵循“资产分级、威胁排序、成本可控”的原则。以下表格给出不同威胁的优先级建议：

威胁类型	发生概率	影响程度	防护优先级	推荐措施
模型窃取	高	高	P0	加密存储 + 安全启动 + 调试口禁用
逆向工程	中	中	P1	结构混淆 + 权重扰动 + 自校验
黑盒攻击	中	中	P1	查询限流 + 输出量化 + 输入随机化
对抗样本	高	高	P0	对抗训练 + 输入检测 + 输出一致性校验
侧信道分析	低	中	P2	掩码技术 + 随机延时 + 功耗均衡
逻辑篡改	中	高	P1	代码签名 + 运行时完整性校验

常见误区与总结

误区一：认为加密模型文件就万事大吉。实际上，攻击者可以在模型加载时从内存中提取明文权重。
误区二：忽视黑盒攻击的威胁。即使模型不泄露，攻击者仍可通过查询接口实施蒸馏或对抗攻击。
误区三：过度依赖对抗训练，导致模型在正常场景下性能下降。
误区四：未考虑物理世界攻击的可行性，仅关注数字域对抗样本。