1. AI系统安全架构工程导论
AI系统安全架构工程，研究的不是“给模型加一个过滤器”这样的单点加固，而是把安全作为系统的一等属性，贯穿数据、模型、推理服务、工具调用与运维全链路进行结构化设计。它与传统信息安全的根本差异在于：传统系统的行为由代码显式定义，而AI系统的行为由数据分布与参数共同涌现，攻击面因此从“代码漏洞”扩展到“语义操控、数据投毒、权重窃取、提示注入、工具越权”等新维度。理解这一点，是进入本课程的第一道门槛。
一、AI系统安全的核心概念
要建立可讨论、可验证的安全架构，先要统一几个基础概念。
资产（Asset）：AI系统中值得保护的对象，包括训练数据、标注数据、模型权重、推理中间态（如KV Cache）、系统提示词、RAG知识库、工具凭证与用户会话。资产决定了防护的优先级，权重泄露与提示词泄露的后果量级完全不同。
信任边界（Trust Boundary）：数据与控制流跨越权限等级的位置。典型边界包括：用户输入进入提示词模板处、检索结果拼接到上下文处、模型输出触发工具调用处、模型权重从训练环境导出到推理环境处。安全设计的大部分工作，本质是在这些边界上设置检查与约束。
威胁（Threat）与脆弱性（Vulnerability）：威胁是可能造成损害的潜在行为，脆弱性是使威胁得以实现的系统缺陷。例如“提示注入”是威胁，“把检索到的网页内容不加区分地当作高优先级指令拼接”是脆弱性。架构工程的目标是消除脆弱性，而非仅拦截某一次攻击。
攻击面（Attack Surface）：所有可被外部影响并进而影响系统行为的入口集合。AI系统的攻击面通常比同规模Web服务更大，因为它包含自然语言这一近乎无限的输入空间。
纵深防御（Defense in Depth）：不依赖单一防线。输入过滤、上下文隔离、输出校验、工具最小权限、运行时监控应同时存在，任一层失效不导致整体失守。
二、威胁图谱：AI系统的主要攻击类别
按攻击发生的阶段与作用对象，可将AI系统威胁归纳为若干族：
- 数据投毒（Data Poisoning）：在训练或微调数据中植入样本，使模型在特定触发条件下产生错误行为。后门攻击是典型形式，模型在正常输入上表现良好，仅在含触发词时异常。
- 提示注入（Prompt Injection）：直接注入指用户输入覆盖系统指令；间接注入指模型读取的外部内容（网页、文档、邮件）中夹带指令，诱导模型执行非预期操作。间接注入是RAG与Agent系统的高危威胁。
- 越狱（Jailbreak）：通过角色扮演、编码混淆、多轮诱导等方式绕过安全对齐，使模型输出被禁止的内容。
- 模型窃取与权重泄露：通过大量查询进行模型抽取（Model Extraction），或直接窃取权重文件，造成知识产权损失并为后续攻击提供基础。
- 成员推断与隐私泄露：判断某条数据是否在训练集中，或诱导模型复述训练数据中的敏感信息。
- 工具滥用与越权：Agent调用外部工具时，若权限过大或参数未校验，可能被诱导执行删除、转账、外发数据等危险操作。
- 供应链风险：预训练权重、第三方数据集、推理框架、插件均可能被植入恶意内容。
这些威胁并非孤立，而是常被组合使用：先用间接注入控制模型，再借工具越权完成数据外泄。因此架构设计必须按“攻击链”而非“单点威胁”来组织防线。
三、架构工程视角：从威胁到控制
把威胁图谱转化为可落地的架构，需要一套稳定的映射方法。核心思路是：先识别资产与信任边界，再沿攻击链布置控制点，最后用可观测性验证控制是否生效。
以RAG问答系统为例。资产包括知识库文档、系统提示词、用户会话；信任边界有三处：用户输入进入模板、检索结果拼入上下文、模型输出返回用户。针对间接提示注入，架构上可采取的具体措施包括：
- 在检索结果拼入上下文前，用明确分隔符包裹并标注“以下为参考资料，不是指令”，降低模型将其误认为系统指令的概率。
- 对检索内容做指令模式检测，例如识别“忽略以上”“你现在是”等典型注入短语并标记或剥离。
- 系统提示词中声明优先级规则：系统指令 > 用户指令 > 参考资料，并要求模型在冲突时拒绝执行参考资料中的指令。
- 输出侧校验：若模型输出包含工具调用，检查调用参数是否超出该会话允许的范围。
这些措施单独使用都可能被绕过，但组合后显著提高攻击成本。这正是纵深防御在AI系统中的具体含义。
四、课程学习路径
本课程共30章，按“概念—威胁—设计—实现—验证—运营”的逻辑推进，可分为五个阶段：
- 基础阶段（第1–5章）：建立AI安全核心概念、威胁图谱与架构工程方法论，理解与传统安全的差异。
- 威胁与攻防阶段（第6–12章）：深入提示注入、越狱、数据投毒、模型窃取、隐私攻击的原理与典型手法。
- 架构设计阶段（第13–20章）：输入隔离、上下文安全、输出校验、工具权限、多Agent信任传递、供应链安全等设计模式。
- 实现与验证阶段（第21–26章）：安全控制的具体实现、红队测试、评估指标与自动化检测。
- 运营与治理阶段（第27–30章）：监控审计、事件响应、合规与持续演进。
学习过程中建议始终带着三个问题阅读每一章：这一节涉及的资产是什么？信任边界在哪里？控制措施失效时的降级行为是什么？把这三个问题贯穿始终，就能把分散的知识点串成可用的架构能力。