3、模型复制风险分析：模型窃取方式（白盒/黑盒）、逆向工程、权重提取、对抗样本攻击

Edge AI 模型部署到终端设备后，模型本身便脱离了开发者的物理控制，暴露在不可信的环境中。攻击者可以通过多种技术手段复制模型的功能、窃取模型参数，甚至篡改模型行为。本章将系统分析模型复制的主要风险路径，包括白盒与黑盒窃取、逆向工程、权重提取以及对抗样本攻击，帮助开发者建立完整的威胁模型认知，为后续的防复制与硬件指纹绑定设计提供风险依据。

上图展示了 Edge AI 模型面临的两大类攻击路径：白盒攻击（攻击者拥有模型内部信息的完全访问权）和黑盒攻击（攻击者仅能通过输入输出接口与模型交互）。两类攻击最终都指向五个核心目标：功能复制、参数窃取、行为篡改、知识产权侵犯和恶意投毒。理解这些攻击路径是设计有效防护策略的前提。

3.1 白盒攻击：模型结构与权重的直接暴露

核心原理

白盒攻击是指攻击者能够获取模型的结构定义、权重参数、训练配置等内部信息的攻击场景。在 Edge AI 部署中，白盒攻击通常发生在以下情况：模型文件被直接从设备存储中提取（如通过 JTAG/SWD 调试接口、UART 串口、SD 卡拷贝或芯片 decap 后直接读取 Flash）；开发者使用未加密的模型格式（如 TensorFlow Lite 的 .tflite 文件、ONNX 格式）且未做任何混淆处理；或者模型在传输过程中被中间人截获。白盒攻击的核心优势在于攻击者拥有完整的信息，可以精确地复制模型，甚至进行针对性的微调和优化。

判断方法与操作流程

开发者需要评估自身设备暴露白盒攻击面的可能性。判断流程如下：

1. 检查调试接口：确认 JTAG/SWD 端口在生产后是否已禁用（通过 eFuse 或 OTP 区域烧写安全位）。
2. 评估存储加密：模型文件是否使用了硬件加密引擎（如 AES-256）进行静态加密？密钥是否存储在安全元件（SE）或 TrustZone 中？
3. 分析固件结构：使用 binwalk 扫描固件镜像，检查是否存在未加密的模型文件头（如 TFLite 的 "TFL3" 魔数）。
4. 模拟攻击测试：在开发板上尝试通过调试器读取 Flash，验证安全锁定是否生效。

# 固件分析示例：检查模型文件是否明文存储
binwalk firmware.bin | grep -i "tflite\|onnx\|caffemodel"
# 输出示例：
# 0x123400    TFLite model data (little endian) 
# 若存在上述输出，说明模型未加密，存在白盒提取风险

案例拆解：某工业网关模型提取事件

某工业设备厂商将缺陷检测模型部署在基于 i.MX8M Plus 的网关中，模型文件存放在 eMMC 的 rootfs 分区。攻击者通过 UART 串口进入 uboot 命令行（未设置密码），使用 mmc read 命令将整个 eMMC 镜像导出。随后在 PC 上使用 binwalk 提取出 model.tflite 文件，并通过 Netron 可视化工具直接还原了模型结构。整个过程耗时不到 2 小时，且无需拆焊芯片。该事件导致厂商的核心算法完全泄露，竞品在 3 个月内推出了功能几乎相同的产品。

常见误区与复盘

• 误区一："我们使用了自定义模型格式，攻击者无法识别。" —— 实际上，通过分析内存中的张量数据布局，攻击者可以重建模型。
• 误区二："芯片有读保护（RDP）就安全了。" —— RDP Level 1 可通过电压故障注入绕过，Level 2 虽不可调试但可通过 decap 后直接读取 Flash 单元。
• 复盘要点：白盒防护的核心是"密钥与模型分离"——模型加密密钥必须存储在安全硬件中，且模型解密仅在安全执行环境中进行。

3.2 黑盒攻击：模型窃取与功能复制

核心原理

黑盒攻击中，攻击者无法直接获取模型内部参数，但可以通过向模型发送大量精心构造的输入并观察输出，来训练一个"替代模型"（Surrogate Model）以近似目标模型的功能。这种攻击方式在 Edge AI 场景中尤为危险，因为设备通常提供 API 接口（如分类置信度、检测框坐标）供上层应用调用。经典的模型窃取攻击包括：Knockoff Nets（通过随机采样或数据增强查询目标模型）、Jacobian-based 数据增强（利用模型梯度信息生成查询样本）、以及主动学习策略（选择信息量最大的样本查询）。

判断方法与操作流程

评估黑盒攻击风险的步骤如下：

1. 接口暴露面分析：设备提供了哪些可编程接口？这些接口是否返回详细的概率向量或仅返回 top-1 标签？
2. 查询频率限制：是否对 API 调用速率进行了限制？是否检测异常高频查询模式？
3. 输出信息熵：返回的置信度分数是否精确到小数点后 4 位？这为攻击者提供了丰富的梯度估计信息。
4. 替代模型训练成本：攻击者需要多少查询才能达到可接受的精度（如 90% 的原始模型精度）？

案例拆解：智能门锁人脸识别模型窃取

某智能门锁厂商提供移动端 App 进行人脸注册和验证，App 与云端 API 通信，云端返回相似度分数（0~1 的浮点数）。攻击者使用 5000 张公开人脸数据集，通过 App 接口逐一查询，每张图片查询 10 次（使用不同的图像增强），共 5 万次调用。利用返回的相似度分数作为软标签，攻击者训练了一个 MobileNetV2 替代模型。实验表明，替代模型在攻击者自建测试集上达到了 92.3% 的 Top-1 准确率（原始模型为 97.8%）。攻击者随后将替代模型部署在树莓派上，成功通过了门锁的活体检测（因为活体检测仅依赖深度图，而替代模型同样能输出深度估计）。

常见误区与总结

• 误区一："我们只返回 Top-1 标签，不返回置信度，攻击者无法训练。" —— 即使只有标签，攻击者仍可通过决策边界估计（如使用 HopSkipJump 攻击）进行有效窃取。
• 误区二："本地推理不联网，不存在黑盒攻击。" —— 攻击者可以物理接触设备，通过侧信道（功耗、电磁辐射）推断模型中间层的激活值。
• 总结：黑盒攻击的防护核心是"最小化信息泄露"——降低输出精度、增加查询噪声、实施速率限制和异常检测。

3.3 逆向工程与权重提取技术

核心原理

逆向工程是白盒攻击的具体实施手段，其目标是从二进制固件或内存转储中恢复模型的结构和权重。在 Edge AI 场景中，常见的逆向对象包括：TensorFlow Lite Micro 模型（存储在 Flash 中）、CMSIS-NN 优化的 C 数组权重、以及自定义推理引擎的二进制权重文件。逆向工程的关键步骤包括：定位模型文件（通过魔数搜索或字符串引用）、解析模型格式（如 TFLite 的 FlatBuffer 结构）、提取权重张量（处理量化参数和偏置）、以及重建计算图（识别卷积、全连接等算子及其连接关系）。

判断方法与操作流程

权重提取的典型流程如下：

1. 固件获取：通过调试接口、OTA 抓包或售后维修渠道获取固件镜像。
2. 文件系统解析：使用 binwalk、jefferson（JFFS2）、ubi_reader 等工具提取文件系统。
3. 模型定位：搜索已知魔数（如 TFLite 的 0x1A 0x00 0x00 0x00）或通过字符串 "tflite"、"operator" 定位。
4. 结构解析：编写 Python 脚本解析 FlatBuffer 或 Protocol Buffers，提取算子类型、输入输出张量维度。
5. 权重导出：将量化权重（如 int8）反量化为浮点值，恢复原始参数。

# 使用 Python 解析 TFLite 模型并提取权重示例
import tensorflow as tf
interpreter = tf.lite.Interpreter(model_path="extracted_model.tflite")
interpreter.allocate_tensors()
tensor_details = interpreter.get_tensor_details()
for detail in tensor_details:
    if detail['dtype'] == np.int8:
        # 提取量化参数
        scale, zero_point = detail['quantization']
        raw_data = interpreter.get_tensor(detail['index'])
        # 反量化
        float_data = (raw_data.astype(np.float32) - zero_point) * scale
        np.save(f"weight_{detail['name'].replace('/', '_')}.npy", float_data)

案例拆解：某车载摄像头模型逆向全过程

某自动驾驶初创公司的前视摄像头使用瑞萨 R-Car V3H SoC，模型以自定义格式存储在外部 QSPI Flash 中。安全研究员通过以下步骤完成逆向：首先使用逻辑分析仪捕获上电时 CPU 对 QSPI Flash 的读取时序，确定模型加载地址范围（0x20000000~0x20400000）。然后使用 Flash 编程器读取完整 4MB 镜像。通过分析启动代码中的 DMA 配置，定位到模型数据段。由于模型格式是自定义的，研究员通过监控推理过程中的内存访问模式（使用 JTAG 读取 AXI 总线事务），识别出卷积层的权重访问规律（连续地址读取 + 跨步跳跃），最终重建了模型结构。整个过程耗时 3 周，但成功提取了全部 12 个卷积层的权重。

常见误区与复盘

• 误区一："模型文件加密了就安全。" —— 加密只保护静态数据，推理时权重必须在内存中解密，攻击者可监控内存总线。
• 误区二："使用混淆工具（如 Obfuscator-LLVM）可以阻止逆向。" —— 混淆增加分析难度，但无法阻止坚定的攻击者。
• 复盘要点：权重提取的终极防护是"硬件信任根"——将模型推理过程封装在安全硬件（如 NXP i.MX 的 HAB、ST 的 TF-M）中，使权重永不暴露给主处理器。

3.4 对抗样本攻击：模型行为的恶意篡改

核心原理

对抗样本攻击（Adversarial Examples）是向模型输入添加微小、人眼不可见的扰动，导致模型输出错误结果。在 Edge AI 场景中，对抗样本攻击具有双重威胁：一是作为"复制"的辅助手段——攻击者通过对抗样本探测模型的决策边界，从而更高效地训练替代模型；二是作为"破坏"手段——攻击者使部署在设备上的模型失效，例如让门锁识别系统将陌生人识别为房主，或让工业质检系统将缺陷品判定为合格品。对抗样本的生成方法包括：FGSM（快速梯度符号法）、PGD（投影梯度下降）、C&W（Carlini-Wagner）等。

判断方法与操作流程

评估对抗样本攻击风险的流程：

1. 输入空间分析：模型的输入是否经过预处理（如归一化、裁剪）？预处理是否破坏了对抗扰动的有效性？
2. 鲁棒性测试：使用 FGSM 和 PGD 攻击测试模型在不同扰动强度下的准确率下降情况。
3. 物理世界可行性：对于摄像头输入，对抗扰动能否在物理世界打印出来（如贴纸攻击）？对于音频输入，扰动能否通过扬声器播放？
4. 防御机制评估：是否使用了对抗训练、输入去噪、随机化推理等防御手段？

案例拆解：路标识别系统的物理对抗攻击

某自动驾驶团队在测试中发现，其交通标志识别模型（基于 YOLOv5s）在真实道路测试中，将"停止"标志误识别为"限速 40"标志。调查发现，攻击者在标志上粘贴了黑白相间的对抗贴纸（仅覆盖标志面积的 15%）。该贴纸是通过在数字域对模型进行 PGD 攻击生成的，然后打印并粘贴到真实标志上。实验数据显示，未加贴纸时模型对停止标志的置信度为 0.98，加贴纸后降至 0.12，而"限速 40"的置信度升至 0.67。该攻击成功的原因在于：模型在训练时未包含对抗样本增强，且输入预处理（归一化到 [0,1]）未破坏扰动的空间结构。

常见误区与总结

• 误区一："对抗样本只存在于学术研究，实际攻击者不会使用。" —— 已有多个真实案例证明物理对抗攻击的可行性（如人脸识别闸机绕过）。
• 误区二："对抗训练可以完全防御。" —— 对抗训练只能防御训练时使用的攻击类型，对新攻击（如自适应攻击）仍可能失效。
• 总结：对抗样本攻击是模型复制风险的重要组成部分——攻击者通过对抗样本探测模型边界，为后续窃取或破坏铺路。防护需要结合输入预处理、模型鲁棒性增强和运行时监控。

3.5 综合风险评估与防护优先级

综合上述四种攻击方式，Edge AI 模型面临的风险等级和防护优先级如下表所示：

在实际项目中，开发者应根据设备的具体部署环境（物理可访问性、网络连接性、计算资源）来调整防护策略的优先级。例如，对于部署在偏远地区的工业传感器，物理攻击风险较高，应优先加强硬件级防护；而对于面向公众的 API 服务，黑盒窃取风险更高，应重点实施输出保护和查询监控。