1. 课程导入

欢迎进入《模型与AI审计端到端项目实战》。在开始写第一行审计脚本之前，我们必须先回答三个问题：我们到底在审计什么？审计的边界在哪里？一个完整的审计项目从立项到出报告要经过哪些环节？本章不涉及复杂算法，而是为后续29章建立统一的语言体系和工程坐标系。

一、核心原理：模型审计与AI审计的定义边界

模型审计（Model Audit）是指对模型全生命周期中的开发、验证、部署与监控活动进行独立、系统化的检查与评价，确认模型是否满足既定业务目标、监管要求与风险偏好。它的对象是“模型”这一资产本身，包括传统评分卡、回归模型、规则引擎，也包括机器学习模型。

AI审计（AI Audit）是模型审计在人工智能场景下的扩展。除了模型性能与稳定性，它额外关注训练数据合规性、算法公平性、可解释性、对抗鲁棒性、生成内容安全以及大模型特有的提示注入、幻觉与越权调用风险。可以这样理解：模型审计是“体检”，AI审计是“体检+伦理与安全审查”。

两者共享同一套工程骨架：证据采集—控制测试—缺陷认定—整改跟踪—报告出具。区别在于AI审计需要引入更多非财务、非统计类的证据类型，例如数据血缘记录、模型卡、提示词版本日志和红队测试报告。

二、方法流程：端到端项目整体框架

本课程将端到端项目拆解为六个阶段，形成一条可复用的审计流水线。每个阶段都有明确的输入、输出与质量门禁。

1. 立项与范围界定：明确审计对象（哪些模型、哪些业务线）、审计期间、适用监管条款与资源预算，输出《审计范围说明书》。
2. 风险识别与控制矩阵：识别模型风险（数据漂移、过拟合、歧视性输出、越权访问），映射到控制点，形成风险控制矩阵（RCM）。
3. 证据采集与测试执行：通过日志抽取、样本回测、公平性指标计算、提示注入测试等手段获取审计证据。
4. 缺陷认定与分级：依据严重程度将发现分为高、中、低三级，并与被审计方确认事实。
5. 整改跟踪：对高等级缺陷要求限期整改，验证整改证据后关闭。
6. 报告与归档：出具审计报告，归档工作底稿，形成可追溯的审计链路。

下面这张图展示了端到端审计流水线中六个阶段与三类证据流的关系，请重点观察“证据”如何在阶段之间流动并最终汇聚为审计结论。

三、案例与场景：一次典型的AI审计触发

假设某银行信用卡中心上线了一个基于大模型的智能客服，用于回答账单、额度与分期问题。上线三个月后，监管抽查发现部分回答存在“承诺减免利息”的越权表述。此时启动的审计就属于AI审计范畴，其工作路径如下：

• 范围界定：锁定该大模型客服及其检索增强生成（RAG）知识库，审计期间为上线至今。
• 风险识别：识别出提示注入、知识库过期、输出越权、缺乏人工复核四类风险。
• 证据采集：抽取10万条会话日志，构造200条对抗性提示进行红队测试，检查知识库版本与审批流。
• 缺陷认定：确认“输出越权”为高风险，“知识库更新滞后”为中风险。
• 整改与报告：要求增加输出过滤层与人工抽检机制，验证后出具报告。

这个案例说明：AI审计的证据不再局限于财务报表和抽样凭证，而是大量依赖系统日志、模型元数据和对抗测试结果。审计师需要具备“读日志、看指标、构造测试用例”的工程能力。

四、误区与复盘：初学者最容易踩的五个坑

误区	典型表现	正确做法
把审计当调参	直接修改模型阈值以“修复”问题	保持独立性，只提整改建议，不代替被审计方操作
只看准确率	准确率95%就认为模型无风险	同时检查公平性、稳定性、可解释性与越权输出
证据链断裂	测试结果无法追溯到具体模型版本	所有证据必须绑定模型版本、数据版本与时间戳
忽视提示层	只审计模型权重，不审计提示词与RAG	将提示词、知识库、工具调用纳入审计范围
报告无分级	所有发现并列罗列，整改无优先级	按高、中、低分级，高风险必须限期闭环

五、学习目标与实战路线图

完成本课程后，你应当能够独立完成以下任务：

• 编写一份可执行的《模型与AI审计范围说明书》与风险控制矩阵。
• 使用Python与SQL从日志、特征库和模型元数据中采集审计证据。
• 设计并执行公平性、鲁棒性与提示注入测试用例。
• 依据分级标准认定缺陷并撰写审计发现。
• 输出结构完整、证据可追溯的审计报告与工作底稿。

后续章节将沿着“立项—风险—证据—测试—认定—整改—报告”的主线逐步展开，每一章都会给出可运行的代码片段、配置模板与检查清单。请先建立端到端视角，再进入具体工具与脚本的学习。

# 本课程端到端项目目录建议（后续章节将逐步填充）
ai-audit-project/
├── 01_scope/            # 范围说明书与立项材料
├── 02_risk/             # 风险控制矩阵 RCM
├── 03_evidence/         # 日志、模型卡、数据血缘
├── 04_testing/          # 公平性、鲁棒性、红队脚本
├── 05_findings/         # 缺陷认定与分级记录
├── 06_remediation/      # 整改跟踪与验证证据
└── 07_report/           # 审计报告与归档底稿