1. AI模型安全测试与验证导论

在传统软件中，安全测试的对象是代码、配置和网络边界；而在AI系统中，真正决定行为的往往不是显式写下的规则，而是从数据中学习得到的参数。这意味着，一个模型即使没有语法错误、接口正常、响应迅速，仍可能因为训练数据偏差、权重被篡改、提示词诱导或推理环境异常而输出有害内容、泄露隐私或执行越权操作。AI模型安全测试与验证，正是围绕这些“非显式缺陷”建立的一套工程方法。

课程目标与核心定义

本课程的目标不是让读者记住若干攻击名词，而是建立一条可执行的安全工程链路：能够识别AI系统在全生命周期中的风险位置，能够把模糊的安全需求转化为可测试的指标，能够设计并执行测试用例，能够对结果做出可复现的判定，并能在MLOps流程中把安全验证固化为持续环节。

先明确两个定义。AI模型安全测试是指：在受控条件下，向模型或其服务接口施加特定输入、数据扰动、参数变更或环境干扰，观察其输出、内部状态或资源消耗，以发现违反安全属性的行为。它回答的是“系统在什么条件下会出错”。AI模型安全验证是指：依据预先定义的安全需求、阈值和判定规则，对测试结果或形式化证据进行审查，确认模型在目标场景下是否满足安全要求。它回答的是“我们能否接受这个系统上线”。测试偏向发现，验证偏向判定；测试提供证据，验证给出结论。

两者共同依赖三个要素：安全属性（如保密性、完整性、可用性、公平性、可追溯性）、威胁模型（谁在什么位置、拥有什么能力、试图达成什么目标）、判定准则（什么算通过、什么算失败、边界如何界定）。缺少任一要素，测试就容易退化为“跑几个样例看看”。

AI模型全生命周期安全风险概览

AI安全风险不是只存在于推理阶段。按生命周期展开，可以更清楚地看到风险如何被引入、放大和触发。

• 数据采集与标注阶段：数据投毒、标签翻转、隐私数据混入、代表性不足。例如，在垃圾邮件分类训练集中故意加入少量将恶意邮件标为正常的样本，模型可能在推理时对特定触发词“放行”。
• 模型训练与微调阶段：后门植入、权重篡改、过拟合导致隐私记忆、微调数据泄露。攻击者若能在预训练权重中植入触发器，模型在正常输入下表现良好，遇到特定图案或短语时输出攻击者指定结果。
• 模型部署与推理阶段：对抗样本、提示注入、越狱、模型窃取、成员推断、拒绝服务。例如，在图像分类服务中，对输入像素添加人眼难以察觉的扰动，可能使模型把“停止”标志识别为“限速”。
• 运维与监控阶段：数据漂移、模型漂移、日志泄露、回滚失败、供应链依赖漏洞。模型上线后输入分布变化，原本安全的输出可能逐渐偏离预期。
• 退役与归档阶段：模型权重、训练数据、推理日志未彻底清除，导致敏感信息残留或模型被逆向复用。

这些风险并非孤立。数据阶段的偏差会在训练阶段被固化，在推理阶段被特定输入触发，在运维阶段因监控缺失而长期潜伏。因此，安全测试必须覆盖“数据—训练—部署—运维—退役”的完整链路，而不是只测接口。

测试与验证在MLOps中的位置

MLOps强调数据、模型、代码和环境的持续集成与持续交付。安全测试与验证必须嵌入这条流水线，而不是作为上线前的一次性检查。具体来说，它至少出现在四个位置。

第一，数据准入验证。在数据进入训练管道前，检查数据来源合法性、隐私字段是否脱敏、标签分布是否异常、是否存在已知投毒模式。例如，对文本分类数据集，可以统计特定触发词与目标标签的互信息，若某低频词与某一标签的关联强度显著高于其他词，应触发人工复核。

第二，训练后门检测。模型训练完成后，除了常规准确率、损失值，还应执行触发器扫描和权重审计。触发器扫描的思路是：构造一组候选触发模式，分别注入少量样本，观察模型输出是否发生定向偏移。若某个模式在正常样本上不影响准确率，却能稳定改变特定类别预测，则存在后门嫌疑。

第三，上线前安全门禁。这是最接近传统安全测试的环节。需要执行对抗样本测试、提示注入测试、越狱测试、成员推断测试和拒绝服务测试。判定准则应提前定义，例如：在1000条对抗样本中，若模型对目标类别的误判率超过5%，则不允许上线；若系统在特定提示下泄露训练数据中的手机号模式，则直接阻断发布。

第四，运行时监控。模型上线后，输入分布、输出分布、置信度、拒绝率和延迟都会变化。安全监控应关注：是否出现大量相似对抗样本、是否出现异常高频的敏感词、是否出现置信度骤降、是否出现与训练分布显著偏离的输入。一旦触发阈值，应自动降级、限流或回滚。

从“测什么”到“怎么判”

安全测试与功能测试最大的区别在于：功能测试有明确预期输出，安全测试往往面对的是“不应该发生什么”。因此，判定准则必须可操作。建议每个安全测试用例至少包含五个字段：测试对象、威胁假设、输入构造方法、观察指标、通过阈值。例如：

这样的用例可以在MLOps中自动执行，结果可记录、可对比、可回归。安全验证的结论不应是“感觉安全”，而应是“在给定威胁模型和阈值下，测试通过/不通过，剩余风险为多少”。

本课程后续将围绕这条主线展开：先建立威胁建模与安全需求，再分别深入数据、训练、推理、运维各阶段的具体测试方法，最后落到MLOps流水线中的自动化门禁与持续监控。掌握这条链路，才能在AI系统快速迭代的同时，把安全从“事后补救”变成“过程可控”。