3. 模型与AI基础
在模型与AI审计项目中，审计人员首先要建立一套稳定的“概念坐标系”。否则，面对开发团队给出的“模型”“训练”“推理”“微调”“幻觉”等术语，很容易把不同层次的对象混为一谈，导致审计范围、证据类型和风险判断出现偏差。本节从审计视角出发，梳理机器学习、深度学习、大语言模型与生成式AI的核心概念，并给出常见术语的对照理解。
一、核心原理：四层概念不是并列关系，而是递进与包含关系
很多初学者把机器学习、深度学习、大语言模型、生成式AI当作四个并列的技术名词，这是最常见的认知误区。更准确的理解是：机器学习是最大的方法论范畴；深度学习是机器学习中依赖多层神经网络的一类方法；大语言模型是深度学习在自然语言处理方向上的特定产物；生成式AI则是按“输出目标”划分的一类应用形态，既可以用大语言模型实现，也可以用扩散模型等其他技术实现。
从审计对象看，这四层对应不同的证据与风险：机器学习层关注特征、标签、训练集与评估指标；深度学习层关注网络结构、参数量、算力与过拟合；大语言模型层关注语料、词元、上下文窗口、对齐与幻觉；生成式AI层关注输出内容的真实性、版权、合规与滥用风险。审计人员需要先判断被审对象处于哪一层，再选择对应的控制点和测试方法。
二、方法流程：从数据到输出的关键环节
无论哪一层技术，其生命周期大体都遵循“数据准备—训练/构建—评估—部署—运行监控”的主线。审计时可以把这条主线作为检查路径，逐环节确认控制措施是否存在、是否有效。
- 数据准备：采集、清洗、标注、划分训练集/验证集/测试集。审计关注数据来源合法性、标注质量、是否存在偏见或泄露。
- 训练与构建：机器学习用算法拟合特征与标签；深度学习通过反向传播调整权重；大语言模型先预训练再微调与对齐。
- 评估：分类任务看准确率、精确率、召回率、F1；生成任务看流畅度、事实一致性、有害内容比例。评估集必须与训练集隔离。
- 部署与推理：模型上线后接收输入并输出结果。审计关注推理延迟、并发能力、输入输出日志是否留存。
- 运行监控：监控数据漂移、模型退化、幻觉率、异常调用。缺少监控是AI系统最常见的控制缺陷。
三、常见术语对照清单
下表整理了审计沟通中最容易混淆的术语，建议在项目启动会上与开发团队统一口径。
| 术语 | 含义 | 审计关注点 |
|---|---|---|
| 特征 Feature | 输入数据中用于预测的变量 | 特征是否可解释、是否含敏感信息 |
| 标签 Label | 监督学习中的目标答案 | 标注准确性、标注者资质 |
| 过拟合 Overfitting | 模型记住训练数据但泛化差 | 验证集表现、正则化措施 |
| 词元 | 大语言模型处理文本的最小单位 | 上下文窗口限制、计费与截断 |
| 上下文窗口 Context Window | 模型单次可处理的词元上限 | 长文档处理是否丢失关键信息 |
| 微调 Fine-tuning | 在预训练模型上继续训练以适应特定任务 | 微调数据来源与合规性 |
| 对齐 Alignment | 使模型输出符合人类价值与安全要求 | 对齐策略、红队测试记录 |
| 幻觉 Hallucination | 模型生成看似合理但事实错误的内容 | 事实核查机制、人工复核比例 |
| 提示词 Prompt | 用户输入给模型的指令或上下文 | 提示注入、越权指令防护 |
| 推理 Inference | 模型基于输入生成输出的过程 | 日志留存、输出可追溯性 |
四、案例与场景：一次模型上线审计的复盘
某金融机构上线智能客服大语言模型，开发团队声称“准确率95%”。审计人员介入后发现：该准确率来自与训练集同分布的测试集，未覆盖真实用户的长尾问题；模型未记录输入输出日志，无法追溯错误回答；提示词未做注入防护，用户可通过特殊指令诱导模型泄露内部规则。
复盘结论是：开发团队把“模型指标”等同于“系统风险可控”，这是典型误区。审计人员应把评估维度从单一准确率扩展到数据合规、输出可追溯、提示安全、人工兜底、持续监控五个方面。具体检查可参考以下命令式清单：
# 审计检查清单（示例）
1. 训练/微调数据来源是否留存授权记录？
2. 评估集是否与训练集隔离？是否覆盖边界场景？
3. 推理日志是否包含输入、输出、时间戳、调用方？
4. 是否部署提示注入与越权指令防护？
5. 高风险输出是否有人工复核与升级路径？
6. 是否监控幻觉率、拒答率、异常调用量？
7. 模型版本变更是否有审批与回滚机制？