2. AI模型安全威胁建模

AI系统的安全威胁与传统软件有本质差异：攻击面不仅存在于代码和接口，还延伸到训练数据、模型参数、推理输入与输出。威胁建模的目标，是在系统上线前把“谁会攻击、攻击哪一层、造成什么后果、用什么方法发现”梳理清楚。本节围绕四类主流方法展开：STRIDE用于通用系统威胁分类，MITRE ATLAS用于AI攻击战术与技术映射，OWASP ML Top 10用于机器学习应用风险清单，数据投毒、模型窃取、对抗样本则是三类必须单独建模的核心威胁。

一、STRIDE：从系统属性出发做威胁分类

STRIDE把威胁分为六类：仿冒（Spoofing）、篡改（Tampering）、否认（Repudiation）、信息泄露（Information Disclosure）、拒绝服务（Denial of Service）、权限提升（Elevation of Privilege）。在AI系统中，这六类可以映射到具体对象：仿冒对应伪造身份调用推理API；篡改对应污染训练集或修改模型文件；否认对应缺少推理日志导致无法追溯；信息泄露对应模型输出泄露训练数据或系统提示；拒绝服务对应推理请求洪泛或资源耗尽；权限提升对应通过提示注入获取工具调用权限。

STRIDE适合在架构设计阶段使用。做法是画出数据流图，标注外部实体、进程、数据存储和信任边界，再对每个交互点逐条检查六类威胁。例如，训练数据从采集端进入特征存储，跨越了信任边界，就应检查篡改和仿冒；模型文件从训练集群发布到推理服务，应检查篡改和权限提升。STRIDE的优点是覆盖全面、易于团队协作，缺点是偏通用，对AI特有的对抗样本、模型窃取等威胁描述不够具体。

二、MITRE ATLAS：AI攻击的战术与技术地图

MITRE ATLAS借鉴ATT&CK的战术-技术结构，专门描述针对AI系统的攻击行为。它把攻击分为侦察、资源开发、初始访问、ML模型访问、执行、持久化、防御规避、发现、收集、ML攻击 staging、外泄、影响等战术阶段，每个阶段下挂具体技术。例如，“ML模型访问”阶段包含通过API查询、通过公开模型仓库获取、通过侧信道推断等；“影响”阶段包含对抗样本、数据投毒、模型退化等。

ATLAS的价值在于把零散的攻击事件组织成可检索、可对照的矩阵。做威胁建模时，可以先确定系统暴露面，再在ATLAS矩阵中定位可能被使用的技术，最后为每条技术设计检测与缓解措施。例如，若系统提供公开推理API，就应关注“ML模型访问”下的查询技术，并评估模型窃取风险；若系统使用第三方预训练模型，就应关注供应链投毒和模型后门。

三、OWASP ML Top 10：面向应用的风险清单

OWASP ML Top 10从应用视角列出机器学习系统最常见的十类风险，包括输入操纵、数据投毒、模型反转、成员推断、模型窃取、供应链风险、迁移学习攻击、输出完整性等。它比STRIDE更贴近ML工程实践，适合在需求评审和测试计划阶段作为检查表使用。例如，若系统使用第三方预训练模型，应重点检查供应链风险；若模型输出会直接驱动业务决策，应检查输出完整性和对抗样本防护。

三类核心威胁需要单独建模。数据投毒发生在训练阶段，攻击者在训练集中注入错误标签或后门触发样本，使模型在特定输入下产生定向错误。建模时要明确数据来源、标注流程、清洗策略和监控指标。模型窃取发生在推理阶段，攻击者通过大量查询API，用返回结果训练代理模型，逼近原始模型决策边界。建模时要评估查询限流、输出扰动和水印机制。对抗样本发生在推理输入层，攻击者对输入添加人眼难以察觉的扰动，使模型误分类。建模时要确定扰动阈值、检测方法和对抗训练策略。

四、建模方法落地：从资产到验证

实际建模可按六步推进。第一步，资产识别：列出训练数据、模型文件、推理API、提示模板、工具调用接口等。第二步，信任边界划分：标出数据从采集到推理经过的每个系统边界。第三步，威胁映射：用STRIDE覆盖通用威胁，用ATLAS定位AI攻击技术，用OWASP ML Top 10补充应用风险。第四步，风险评级：按可能性与影响打分，例如数据投毒可能性中、影响高，评为高风险。第五步，缓解措施：为每条威胁指定负责人、工具和完成时间。第六步，验证：用对抗样本测试、投毒检测、查询限流测试等手段确认缓解有效。

以某文本分类API为例：资产包括训练语料、模型权重、推理接口；信任边界包括数据采集端到训练集群、训练集群到推理服务、推理服务到公网。STRIDE检查发现仿冒和拒绝服务风险；ATLAS映射到“ML模型访问”下的查询技术，提示模型窃取风险；OWASP ML Top 10提示输入操纵和输出完整性风险。最终为API增加身份认证、查询限流、输入扰动检测和输出一致性校验，并用对抗样本集验证防护效果。这样，威胁建模就从分类清单变成了可执行的安全工程活动。