2. 审计基础
在模型与AI审计项目中,团队最容易犯的错误是“直接看模型指标,跳过审计语言”。模型准确率、召回率、AUC只是技术证据,而审计要回答的是:控制目标是否达成、风险是否被识别、证据是否充分、结论是否可复现。因此,本章先建立审计基础,再讨论AI审计的差异,为后续端到端项目实战提供共同语言。
一、核心原理:审计是什么,不是什么
审计是由独立、胜任的审计人员,依据既定标准,对审计对象的相关信息、控制活动或行为进行系统化检查与评价,并出具结论的过程。它有三个不可拆分的要素:标准(应该怎样)、证据(实际怎样)、判断(差异是否重大、是否可接受)。
审计不是“找茬”,也不是“替业务做决策”。审计的核心价值在于提供合理保证:通过有限样本和程序,将结论的不确定性控制在可接受水平。这一点在AI审计中尤其重要,因为模型行为具有概率性,审计师不可能验证所有输入输出,只能设计抽样、监控和再执行程序来获得合理保证。
审计的四个基本假设:① 责任可归属;② 标准可获取;③ 证据可验证;④ 结论可复现。任何AI审计项目若缺少其中一项,审计范围就必须收缩或出具保留意见。
二、方法流程:风险导向审计的六步闭环
风险导向审计不是“先查细节再汇总风险”,而是“先定风险再决定查什么”。其流程可归纳为六步闭环:
- 了解业务与对象:明确模型用途、用户、数据来源、决策影响和监管环境。
- 识别与评估风险:从固有风险、控制风险、检查风险三个维度打分,确定重大风险领域。
- 设计审计程序:针对高风险领域选择检查、观察、询问、函证、重新执行、分析程序等。
- 获取与评价证据:关注证据的充分性(数量)和适当性(相关、可靠)。
- 形成审计发现:区分“偏差事实”“控制缺陷”“风险暴露”和“改进建议”。
- 出具结论与跟踪:给出审计意见,并跟踪整改闭环。
在AI场景中,第二步的风险评估需要额外加入模型风险:数据漂移、偏见、对抗攻击、可解释性不足、第三方组件漏洞等。这些风险往往不在传统财务审计的风险清单里,却会直接改变审计程序的设计。
三、合规要求与AI审计的差异
传统审计的合规基线通常来自会计准则、内部控制框架和行业监管规定。AI审计则面对多层合规要求:数据保护法规(如个人信息保护法)、算法治理规定、行业AI应用规范,以及组织内部的模型风险管理政策。差异不仅在于“依据变多”,更在于审计对象的动态性和不透明性。
| 对比维度 | 传统审计 | AI审计 |
|---|---|---|
| 审计对象 | 交易、余额、控制活动 | 数据、模型、提示词、推理服务、人机协同流程 |
| 证据形态 | 凭证、合同、日志、访谈 | 数据集快照、模型版本、评估报告、推理日志、特征重要性 |
| 可复现性 | 较高,同一凭证可反复检查 | 较低,模型权重、随机种子、环境依赖会影响结果 |
| 抽样逻辑 | 按金额、频率、重要性抽样 | 按风险分层、边缘案例、对抗样本、漂移窗口抽样 |
| 结论表达 | 合规/不合规、重大/非重大 | 需附加置信区间、适用边界、监控建议 |
| 整改周期 | 相对固定,按期间跟踪 | 持续监控,模型更新即触发再审计 |
关键差异一句话:传统审计审“已经发生的确定性事实”,AI审计还要审“可能发生的概率性行为”。因此AI审计报告必须写明模型版本、数据窗口、评估指标和适用边界,否则结论无法被复用。
四、案例与场景:一次模型上线前的审计复盘
某金融团队准备上线一个信贷评分模型。传统审计同事先检查了审批流程和权限矩阵,认为“控制齐全”。但AI审计师追加了三项程序:
- 数据溯源:抽取训练集样本,核对授权链和标注一致性,发现部分历史数据来自已停止合作的渠道。
- 模型再执行:用固定随机种子和相同环境重跑评估,发现线上AUC比报告低0.04,原因是特征工程版本不一致。
- 边缘案例测试:构造低收入但高资产、短信用历史等样本,发现模型对特定群体拒贷率显著偏高。
最终审计结论不是“模型不能用”,而是“在完成数据清理、版本锁定和公平性监控前,限制上线范围”。这正是风险导向审计的价值:把技术问题翻译成风险语言,再给出可执行的整改路径。
常见误区:① 把AI审计做成“跑一遍指标”;② 只审模型不审数据管道;③ 用一次评估代替持续监控;④ 审计发现只写“准确率不达标”,不写影响范围和整改优先级。复盘时请检查:每条发现是否对应一个风险、一个证据、一个责任人和一个期限。