1. 课程导入

在AI系统进入信贷审批、医疗辅助诊断、招聘筛选、风控处置等高风险场景后，模型“预测得准”已经不够。业务方、合规团队、审计人员和最终用户还会追问：这个结论是怎么来的？哪些输入起了作用？模型是否使用了不该使用的变量？当结果被质疑时，我们能否提供一条可复核、可追溯、可验证的证据链？这正是本课程要解决的核心问题。

一、核心定义：可解释性与决策证据审计

AI可解释性是指用人类可理解的方式，说明模型为何产生某个输出、哪些特征或中间表示对结果产生了影响，以及这种影响在不同样本、群体和时间上是否稳定。它既包括全局解释，例如模型整体依赖哪些特征；也包括局部解释，例如某一位客户为何被拒绝。

决策证据审计则更进一步：它不是只看一条解释文本，而是把数据、模型版本、特征处理、解释方法、阈值策略、人工复核记录和业务规则组织成可验证的证据包，回答“这个决策在当时是否合规、合理、可复现”。可解释性提供理解入口，证据审计提供责任闭环。

二、从模型输出到证据链：整体课程框架

本课程围绕一条主线展开：从模型行为出发，经过解释方法、证据采集、审计流程，最终落到治理与复盘。整体框架可分为五层：

• 基础层：可解释性概念、解释类型、证据审计原则与法规背景。
• 方法层：全局解释、局部解释、反事实解释、特征归因、代理模型与注意力分析。
• 工程层：解释结果落库、版本绑定、样本追踪、日志规范与证据包生成。
• 审计层：审计指标、抽样策略、偏差检测、稳定性验证与人工复核。
• 治理层：模型卡、决策记录、责任矩阵、申诉处理与持续监控。

下图展示了一个典型的“模型决策—解释生成—证据审计”数据流。它强调解释不是终点，而是证据链中的关键中间产物。

三、方法流程：一次可审计解释的生成步骤

为了让解释结果真正可用于审计，建议按以下流程执行。该流程不是一次性动作，而是嵌入模型上线、运行和复盘的持续机制。

1. 明确审计目标：确定是合规审计、内部质量复盘、用户申诉还是监管报送，不同目标决定证据粒度。
2. 绑定模型上下文：记录模型版本、训练数据版本、特征工程版本、阈值和运行环境。
3. 选择解释方法：根据模型类型和业务需求选择SHAP、LIME、反事实、特征重要性或注意力可视化。
4. 生成并校验解释：检查解释是否与模型输出一致，是否出现明显矛盾或异常归因。
5. 封装证据包：将输入快照、输出、解释、版本信息、时间戳和操作人写入不可篡改日志。
6. 审计与复核：按风险抽样，验证解释稳定性、群体公平性和业务合理性。
7. 归档与改进：形成模型卡和审计报告，发现问题后回流到数据、模型或流程改进。

四、案例场景：信贷拒绝中的证据审计

假设某银行使用梯度提升模型进行信贷审批，一位客户被拒绝。客户申诉后，审计人员需要回答：拒绝是否主要因为收入负债比、历史逾期等合理变量？是否间接使用了性别、地域等敏感变量？解释结果在不同版本间是否一致？

此时，可解释性模块输出该客户的局部特征贡献，例如“历史逾期次数”贡献最大，“收入负债比”次之。但证据审计还要进一步检查：训练数据中是否存在敏感变量代理；解释结果是否在相似客户群体中稳定；模型版本是否与审批时一致；人工复核是否记录了申诉处理过程。只有这些信息齐备，才能形成可交付的审计证据包。

审计维度	关键问题	典型证据
数据可追溯	输入数据来源是否清晰、是否被修改	数据快照、哈希值、采集日志
模型可追溯	模型版本、阈值、依赖环境是否明确	模型卡、版本号、配置记录
解释可验证	解释方法是否适配、结果是否稳定	解释参数、多次运行结果、一致性指标
决策可复核	人工复核与申诉是否闭环	复核记录、申诉工单、处理结论
合规可证明	是否使用违规变量、是否存在群体偏差	公平性指标、变量审查报告

五、常见误区与复盘要点

初学者常把“可解释性”等同于“画一张特征重要性图”，把“审计”等同于“保存日志”。这两种理解都不完整。以下误区值得警惕：

• 误区一：解释等于因果。特征归因只说明模型关联，不直接证明现实因果。
• 误区二：一次解释永久有效。模型、数据和业务规则变化后，旧解释可能失效。
• 误区三：只保存结论不保存过程。没有参数、版本和随机种子，解释无法复现。
• 误区四：忽视群体差异。全局解释可能掩盖特定群体的异常行为。
• 误区五：审计只由技术团队完成。合规、业务和法务应共同参与证据标准制定。

六、学习目标与学习路径

完成本课程后，学习者应能够：理解可解释性与证据审计的核心概念；掌握主流解释方法的适用条件与局限；设计可追溯的证据包结构；执行基本的审计抽样与稳定性验证；识别常见误区并形成改进方案。

学习路径建议按“概念—方法—工程—审计—治理”推进。前几章建立共同语言，中段深入方法与工具，后段聚焦审计流程、案例复盘和治理落地。每章都会围绕真实场景展开，并配套可操作的检查清单与参数示例。

# 示例：证据包目录结构
evidence_package/
  ├── input_snapshot.json
  ├── model_version.txt
  ├── explanation_params.yaml
  ├── local_explanation.json
  ├── global_importance.csv
  ├── audit_log.jsonl
  └── review_record.md