第2章 失败案例分类框架：定义与类别归纳总结
2.1 为什么需要分类框架
做AI药物批次质控，说白了就是在跟不确定性打交道。
我刚开始接触这个领域时，遇到失败就急着找解决方案。结果呢？治标不治本。同一个坑，换了马甲又掉进去一次。
为什么会这样？因为没有分类。
你想想看，如果连失败的类型都分不清，怎么对症下药？分类框架的价值就在这里——它让我们从「救火」变成「防火」。
我在项目中遇到过这样一种情况：团队花了三周时间优化模型，结果问题出在数据标注上。如果早点分类定位，至少能省两周。
2.2 分类框架的定义与构建原则
所谓失败案例分类框架，就是一套系统化的归类体系。它把质控过程中出现的各类失败，按照一定的维度进行划分和组织。
我个人习惯用三个维度来构建分类框架：
- 失败发生的环节——是数据环节、建模环节，还是生产执行环节？
- 失败的表现形式——是偏差、错误、异常，还是完全失败？
- 失败的根因属性——是技术问题、管理问题，还是合规问题？
这三个维度交叉，就能形成一张清晰的分类地图。
构建的时候，我建议遵循四个原则：
- 互斥性：每个案例只能归入一个类别。
- 完备性：所有已知失败类型都能找到归属。
- 可操作性：分类标准要能落地，一线人员能用。
- 可扩展性：留有余地，能容纳新型失败。
下面这张图，就是这套框架的整体结构。你可以把它当作一张路线图，后面拆解每个案例时，我们都会回到这张图上定位。
2.3 五大失败类别详解
基于上面的框架，我把AI药物批次质控中的失败案例归纳为五大类。每一类我都见过真实的教训。
2.3.1 数据质量类失败
这类失败占比最高。我粗估至少超过四成。
典型表现包括：
- 标注错误：标准不一致，或者标注人员水平参差。
- 数据偏移：训练数据和实际生产数据分布不一致。
- 缺失值处理不当：填充策略不合理，引入偏差。
- 数据泄露：训练集和验证集没有严格隔离。
我记得有一个项目，建模指标特别漂亮，但一上产线就崩。查了两个月，原来是数据预处理时把未来信息泄露到了训练集里。说白了，模型学的是「作弊」，不是真正的规律。
2.3.2 模型算法类失败
这类失败往往比较隐蔽，因为模型本身不会「报错」。
常见情况：
- 模型过拟合：在验证集上好，换批数据就翻车。
- 特征工程不当：选了一些跟质控无关的特征。
- 阈值设置不合理：灵敏度与特异性失衡。
- 模型更新不及时：生产环境变了，模型还是老的。
我个人习惯是，每次模型上线前都要做「对抗测试」——故意拿一些边缘数据去考验它。如果模型在这些数据上表现不稳定，那就说明还有问题没暴露。
2.3.3 工艺执行类失败
这类失败跟AI关系不大，但却是质控失败的主战场。
包括：
- 工艺参数偏离：温度、pH值、搅拌速度等不在控制范围内。
- 操作不规范：操作员的动作与SOP有出入。
- 原材料批次波动：不同批次的原料存在差异。
- 环境条件变化：洁净区的温湿度、压差等。
我亲眼见过一个案例，模型预测结果总是异常，查到最后是某个阀门有机械故障，导致流量不稳定。模型其实是对的，是工艺本身出了问题。
关键认知：AI模型只能反映数据的规律，不能修正物理世界的偏差。工艺执行类失败，往往需要回到车间去解决。
2.3.4 设备系统类失败
AI系统要落地，硬件和基础设施是底座。
典型问题：
- 传感器漂移：采集到的数据已经不准确了。
- 通讯异常：数据在传输过程中丢失或延迟。
- 计算资源不足：模型推理时间超长，影响实时性。
- 系统集成问题：AI系统和MES、LIMS等对接不畅。
我记得有一次，模型在实验室跑得好好的，一上生产环境就超时。后来发现是工控机的CPU性能不够，推理时间从50毫秒变成了3秒。你想想看，这对实时质控来说，完全不可接受。
2.3.5 管理合规类失败
这类失败最容易被忽视，但后果往往最严重。
包括：
- 验证不充分：没有按照GxP规范做系统验证。
- 变更管理缺失：模型更新后没有走变更流程。
- 审计追踪不完整：关键操作没有留痕。
- 权限管控不当：生产数据和模型可以被随意修改。
2.4 分类框架的应用价值
有了这套分类框架，我们能做三件事：
- 第一，快速定位问题。失败来了，先对号入座，缩小排查范围。
- 第二，积累组织知识。每个案例贴上类别标签，形成失败知识库。
- 第三，优化资源配置。如果发现某一类失败反复出现，就把资源倾斜过去。
| 类别 | 典型特征 | 优先排查方向 |
|---|---|---|
| 数据质量类 | 模型效果与预期差距大，但无明显异常 | 标注一致性、数据分布 |
| 模型算法类 | 训练效果好，生产效果差 | 过拟合、特征工程 |
| 工艺执行类 | AI预测与实际情况持续偏离 | 工艺参数、设备状态 |
| 设备系统类 | 数据异常、通讯中断、响应超时 | 传感器、网络、计算资源 |
| 管理合规类 | 审计发现问题、变更未记录 | 验证文档、变更流程 |
另外，我建议团队维护一份分类标签清单，每遇到一个失败案例，就给ta打上标签。下面是一个简单的JSON示例，你可以直接拿去做知识库的元数据模板：
{
"case_id": "AI-QC-2024-0087",
"category": "data_quality",
"subtype": "data_leakage",
"severity": "critical",
"detection_phase": "production",
"root_cause": "训练集与验证集未做时间隔离，未来信息泄露",
"action": "重新划分数据集，加入时间序列校验逻辑"
}2.5 本章小结
分类不是目的，解决问题才是。
建立分类框架，说到底是为了让我们在面对失败时，能更快地找到方向，更有效地积累经验。