课程导入：学习目标、核心概念、整体框架——理解漂移检测在Edge AI中的重要性

欢迎来到《Edge AI漂移检测eval set划分教程》的第一章。在正式开始学习如何划分评估集（eval set）之前，我们首先需要建立对“漂移检测”这一核心任务的全局认知。很多工程师在构建边缘AI系统时，往往将精力集中在模型训练阶段的准确率提升上，却忽略了模型部署后因数据分布变化而导致的性能衰减问题。本章将帮助你明确学习目标、厘清核心概念，并搭建起整个课程的知识框架，让你深刻理解为什么在Edge AI场景下，漂移检测与合理的eval set划分是保障系统长期稳定运行的“生命线”。

上图展示了本课程的核心知识框架。边缘AI系统产生持续的数据流，而漂移检测机制负责监控训练分布与实时分布之间的差异。当检测到显著漂移时，我们需要依赖一个精心划分的Eval Set来量化性能衰减程度并指导模型更新。这个闭环流程是本章以及后续所有章节展开的基础。

1.1 学习目标：学完本章你能做什么

本章作为整个课程的基石，其学习目标并非要求你立即掌握具体的算法实现，而是帮助你建立正确的“问题意识”和“系统视角”。具体而言，完成本章学习后，你将能够：

• 准确描述漂移检测的定义与范畴：能够区分数据漂移（Data Drift）、概念漂移（Concept Drift）与模型漂移（Model Drift），并理解它们在Edge AI场景下的具体表现形式。
• 理解Eval Set在漂移检测中的核心地位：明白为什么不能简单使用原始训练集作为评估基准，以及一个“好”的Eval Set需要具备哪些特性。
• 建立Edge AI特有的约束意识：认识到边缘设备在计算能力、存储空间、网络连接等方面的限制，如何深刻影响漂移检测策略和Eval Set的设计。
• 掌握课程整体脉络：清晰了解后续29章的内容组织逻辑，知道每个模块解决什么问题，从而在学习中做到有的放矢。

1.2 核心概念：什么是漂移？为什么在Edge AI中尤为突出？

“漂移”在统计学和机器学习中，指的是数据分布随时间或环境变化而发生的改变。在Edge AI语境下，这种变化被放大，因为边缘设备直接暴露在真实物理世界中，其输入数据的不可控性远高于云端数据中心。

我们通常将漂移分为三类，理解它们的区别是后续选择检测方法的前提：

漂移类型	定义	Edge AI 典型场景举例	对模型的影响
数据漂移 (Data Drift)	输入特征 P(X) 的分布发生变化，但输入与输出的映射关系 P(Y|X) 不变。	工业视觉检测中，生产线更换了不同批次、不同颜色的原材料，导致摄像头采集到的图像像素分布改变。	模型输入的“特征空间”不再熟悉，预测置信度下降，但逻辑本身仍适用。
概念漂移 (Concept Drift)	输入与输出的映射关系 P(Y|X) 发生变化，即“规则”变了。	智能音箱的语音唤醒词识别，用户群体从普通话使用者变为带有浓重方言口音的用户，导致相同音频特征对应的意图改变。	模型学到的决策边界失效，即使输入特征看起来正常，输出也可能是错误的。
模型漂移 (Model Drift)	模型自身的预测性能随时间下降，通常由前两种漂移引发，或由于模型参数在设备端更新不当导致。	预测性维护系统，随着设备老化，振动信号的基线特征缓慢变化，模型误报率逐渐升高。	模型输出与真实标签之间的偏差增大，系统可靠性降低。

在Edge AI中，漂移问题尤为突出的原因有三点：第一，环境开放性——设备部署在户外、工厂、家庭等非受控环境，光照、温度、噪声、用户行为等变量不可预测；第二，资源约束性——边缘设备无法像云端那样存储海量历史数据或运行复杂的重训练任务，导致对漂移的“容忍度”更低；第三，数据孤岛性——各设备产生的数据通常无法全部上传至中心，导致全局漂移检测困难，需要依赖本地化的评估策略。

1.3 整体框架：30章课程如何组织

为了让学习过程循序渐进，本课程将内容划分为五个递进模块。理解这个框架，能帮助你建立知识地图，避免迷失在细节中。

1. 基础篇（第1-5章）：聚焦概念与问题定义。包括本章的导入，以及漂移检测的数学定义、常见评估指标、Edge AI硬件与软件架构对检测的影响。
2. 方法篇（第6-15章）：深入各类漂移检测算法。从统计检验方法（如KS检验、PSI）到基于距离的方法，再到适用于非平稳流的在线检测算法，并重点讲解哪些方法适合边缘端算力。
3. Eval Set设计篇（第16-24章）：这是本课程的核心实战部分。详细讲解如何根据时间窗口、场景分类、设备分组等维度划分Eval Set，如何保证划分的“代表性”与“敏感性”，以及如何处理标注稀疏的问题。
4. 工程实践篇（第25-28章）：关注系统落地。包括如何在边缘设备上高效存储Eval Set、如何设计触发模型更新的阈值机制、以及如何利用端云协同进行漂移归因分析。
5. 综合案例与前沿篇（第29-30章）：通过一个完整的智慧工厂质检项目，串联所有知识点，并探讨联邦学习、自监督学习等前沿技术如何与漂移检测结合。

1.4 案例拆解：一个智能零售柜的“季节之痛”

为了让你更直观地理解漂移检测与Eval Set的重要性，我们来看一个典型的Edge AI案例。

背景与约束：某连锁便利店部署了500台智能视觉零售柜，用于识别用户取走的商品（如饮料、零食）。每台柜子内置一颗低功耗AI芯片（2 TOPS算力），通过摄像头拍摄用户取货动作。模型在云端训练后部署至设备端，训练数据来自夏季（6-8月）全国各门店的约50万张标注图像。

初始现象：9月中旬开始，运营方收到大量用户投诉，称“拿了一瓶可乐，扣款却是雪碧”。后台监控显示，整体识别准确率从98.5%骤降至91.2%。

关键输入数据与日志：工程师调取了设备日志，发现错误主要集中在“深色瓶装饮料”类别。进一步分析图像元数据，发现9月后，部分门店因天气转凉，开启了暖色照明，且用户开始穿着长袖深色衣物，导致画面中手臂与饮料瓶的对比度下降。

分析判断过程：这属于典型的数据漂移——输入图像的特征分布（光照、背景颜色）发生了改变，但“深色瓶是可乐”的映射逻辑并未改变。然而，由于设备端没有存储实时图像样本，工程师无法立即确认漂移的具体维度。他们只能依赖云端保存的少量上传日志（仅包含推理结果和置信度分数），发现置信度普遍低于0.7。

实际操作步骤：

1. 紧急回滚模型至夏季版本，但问题依旧，因为输入数据已经变了。
2. 从50台试点设备中，手动抓取一周的原始图像（经用户隐私脱敏），与训练集进行像素分布对比，确认了光照和背景颜色的偏移。
3. 利用这批新抓取的图像，重新构建了一个包含“秋季光照”场景的Eval Set（约5000张），并在此Eval Set上测试旧模型，准确率仅为88%。
4. 使用该Eval Set进行模型微调，并部署更新。

结果对比与复盘：更新后，识别准确率回升至97.8%。但这次事件暴露了三个问题：第一，缺乏持续的数据采集机制，导致漂移发现滞后；第二，原有的Eval Set仅包含夏季数据，无法反映季节性变化；第三，设备端没有本地化的快速评估通道，只能依赖人工介入。这个案例深刻说明了，一个具有时间敏感性和场景覆盖性的Eval Set，是漂移检测系统的“标尺”，没有这把标尺，我们甚至无法量化问题有多严重。

1.5 常见误区与总结复盘

在第一章的收尾阶段，我们有必要澄清几个初学者容易陷入的误区，这些误区会在后续章节中反复出现。

• 误区一：将“测试集”等同于“Eval Set”。测试集通常用于模型发布前的最终验证，而Eval Set在漂移检测语境下，是用于持续监控模型部署后性能的基准。它需要定期更新，且必须覆盖可能发生漂移的“敏感区域”。
• 误区二：忽视“无标签”数据的作用。边缘设备产生的大量数据是未标注的。很多工程师认为没有标签就无法评估。实际上，无标签数据在检测数据漂移时非常有用，我们可以通过比较特征空间的距离来判断分布是否改变，而无需知道具体类别。
• 误区三：追求“大而全”的Eval Set。在资源受限的边缘端，存储一个包含所有历史数据的Eval Set是不现实的。我们需要的是“小而精”的代表性子集，它能够以最小代价捕捉到最关键的分布变化信号。