1. AI模型安全概述
各位同学好，我是老赵。在AI安全这个领域摸爬滚打了七八年，踩过不少坑，也积累了一些实战经验。今天咱们开始第一课，先把整个AI模型安全的地图铺开，看看我们到底在跟什么样的对手打交道。
说实话，很多人一上来就问我：“老赵，AI安全是不是就是防黑客？”嗯，这个问题问得好，但答案远没那么简单。AI安全威胁，说白了，是一个从数据采集到模型部署，再到线上推理的全链路攻防。你想想看，一个模型从出生到退休，哪个环节都可能出问题。
1.1 AI安全威胁全景：我们面对的敌人长什么样？
我习惯把AI安全威胁分成三大类，这样比较好记：
- 数据层威胁：投毒、窃取、污染。我在项目中遇到过，有人往训练数据里掺了0.1%的恶意样本，模型直接变成了“后门模型”。
- 模型层威胁：对抗攻击、模型窃取、逆向工程。说白了，就是有人拿着你的模型，用各种奇奇怪怪的输入去试探，直到把你的“底牌”摸清楚。
- 应用层威胁：提示注入、滥用、越狱。尤其是大语言模型火起来之后，提示注入成了家常便饭。我曾经见过一个案例，攻击者通过精心构造的prompt，让客服机器人直接吐出了数据库里的用户密码。
核心观点：AI安全不是单一的技术问题，而是一个系统工程。数据、模型、应用，三个层面缺一不可。
为了让大家更直观地理解，我画了一张威胁全景图：
实战小贴士：在做安全评估时，我建议你从应用层开始排查。为什么呢？因为应用层暴露面最大，攻击成本最低。很多团队花大价钱防了数据投毒，结果被一个简单的提示注入就攻破了，得不偿失。
1.2 模型安全生命周期：从出生到退休，每一步都要盯紧
模型安全生命周期，这个概念是我在给一家金融客户做审计时逐渐完善的。说白了，就是一个模型从“怀胎”到“入土”的全过程安全管理。
我把它分成六个阶段：
- 需求与设计阶段：确定业务目标，评估风险。这个阶段最容易犯的错误是“先做再说”，结果做到一半发现合规过不去。
- 数据准备阶段：采集、清洗、标注。嗯，这里要特别注意数据来源的合法性。我曾经见过一个项目，用了爬虫抓的数据，结果被告侵权，整个项目直接下架。
- 模型开发阶段：训练、调参、验证。这个阶段要防的是“后门植入”。
- 模型评估阶段：安全测试、鲁棒性测试、公平性测试。我习惯在这个阶段做一次完整的红队演练。
- 部署上线阶段：容器化、API发布、监控。很多安全问题都是在部署时引入的，比如配置错误、权限过大。
- 运营与退役阶段：持续监控、模型更新、安全退役。模型下线不等于安全结束，数据残留、模型泄露都是大问题。
| 生命周期阶段 | 核心安全风险 | 关键控制措施 |
|---|---|---|
| 需求与设计 | 合规盲区、风险遗漏 | 安全需求评审、威胁建模 |
| 数据准备 | 数据投毒、隐私泄露 | 数据溯源、脱敏处理 |
| 模型开发 | 后门植入、算法偏见 | 代码审计、公平性测试 |
| 模型评估 | 对抗脆弱性、鲁棒性不足 | 红队测试、对抗训练 |
| 部署上线 | 配置错误、API滥用 | 最小权限、速率限制 |
| 运营与退役 | 模型漂移、数据残留 | 持续监控、安全擦除 |
避坑指南：我曾经在一个项目中，只关注了模型开发阶段的安全，结果部署时因为容器镜像里留了一个调试端口，被攻击者直接拿到了模型权重。记住，安全生命周期是一个闭环，任何一个阶段出问题，整个链条就断了。
1.3 合规审计基本概念：不只是为了应付检查
说到合规审计，很多工程师第一反应就是“烦”。说实话，我以前也这么觉得。直到有一次，我们的模型因为没通过GDPR审计，被罚了200万欧元……嗯，从那以后，我再也不敢轻视合规了。
合规审计，说白了就是对照标准，检查你的模型是否满足法律法规和行业规范。目前主流的合规框架包括：
- 欧盟AI法案：按风险等级分类，高风险应用需要做 conformity assessment。
- GDPR：重点关注数据隐私、知情同意、自动化决策的解释权。
- 中国《生成式人工智能服务管理暂行办法》：强调内容安全、算法备案、透明度。
- NIST AI风险管理框架：提供了一套通用的风险管理流程。
我个人的经验是，合规审计不是一次性工作，而是一个持续的过程。你想想看，模型在变，数据在变，法规也在变。今天合规，不代表明天也合规。
核心原则：合规审计的最终目的不是“通过检查”，而是“建立信任”。对用户信任、对监管信任、对业务信任。
最后，给大家一个建议：把安全左移。不要等到模型上线了才想起做安全评估，那时候改起来成本太高了。从需求阶段就把安全考虑进去，你会发现后面省很多事。
好了，第一课就到这里。内容不少，但都是基础中的基础。把这些概念吃透了，后面的实战章节你才能跟得上。