3、基础知识：Edge AI环境特点（资源受限、数据分布变化、实时性）对eval set划分的影响
在构建Edge AI漂移检测系统时，eval set（评估集）的划分逻辑与云端AI有本质差异。云端环境通常假设数据分布相对稳定、计算资源充裕、推理延迟容忍度高，而边缘设备则面临三重约束：资源受限（内存、算力、存储）、数据分布变化（概念漂移、数据漂移、季节效应）、实时性要求（毫秒级响应）。这三者共同决定了eval set不能简单采用随机划分或时间序列划分，而必须围绕“漂移检测的敏感性”与“评估的可靠性”进行专门设计。本章将系统阐述这些环境特点如何影响eval set的构建策略、划分粒度、标签体系与评估指标。
上图展示了Edge AI三大环境特点对eval set划分策略的影响链路。资源受限决定了评估数据的存储与加载方式，数据分布变化决定了划分的时间感知性，实时性要求决定了评估的在线性与轻量化。三者共同作用于划分粒度、标签体系和评估指标三个核心维度。下面逐一展开分析。
3.1 资源受限对eval set划分的约束
3.1.1 核心原理：内存与算力的边界条件
边缘设备（如树莓派、Jetson Nano、MCU）通常只有几十MB到几GB的内存，且CPU算力远低于云端GPU。这意味着eval set不能像云端那样一次性加载全部测试数据，也不能在评估时进行复杂的特征工程或多次前向传播。资源受限直接决定了eval set的存储格式（如使用SQLite、TFRecord分片或二进制文件）、加载方式（流式读取、内存映射）以及评估批次大小（batch size需适配设备缓存）。
| 资源维度 | 云端AI | Edge AI | 对eval set的影响 |
|---|---|---|---|
| 内存容量 | 数百GB | 64MB~4GB | eval set需分片存储，不能全量驻留 |
| 算力 | TFLOPS级 | GFLOPS级 | 评估时需减少推理次数，采用抽样评估 |
| 存储 | PB级 | GB级 | 历史数据需压缩或只保留统计摘要 |
| 能耗 | 不敏感 | 电池供电 | 评估频率需降低，避免频繁全量评估 |
3.1.2 操作流程：资源感知的eval set构建
- 数据分片：将原始数据按时间窗口（如每小时一个分片）或事件批次（如每1000条样本一个分片）存储为独立文件，每个分片大小控制在设备内存的1/10以内。
- 流式评估协议：定义eval set的读取接口，支持逐片加载、评估、释放，避免内存峰值。
- 抽样策略：当数据量超过设备处理能力时，采用分层抽样（按类别、按时间）而非简单随机抽样，保证每个子集的代表性。
- 摘要存储：对于历史eval数据，只保留特征分布的统计量（均值、方差、分位数）而非原始样本，用于漂移检测的基线对比。
3.1.3 案例拆解：智能摄像头场景的eval set设计
某智能摄像头项目需要检测“画面亮度分布漂移”（如从白天到黄昏的光线变化）。设备内存仅512MB，存储空间8GB，CPU为四核A53。初始eval set包含30天历史数据，共约200万张缩略图（每张32×32像素，灰度）。
- 初始方案：将所有图片打包为一个HDF5文件，评估时一次性加载。结果导致内存溢出（OOM），设备重启。
- 优化方案：按天分片存储为30个二进制文件，每个约60MB。评估时逐天加载，计算亮度直方图后立即释放。同时，将评估频率从每小时一次降为每4小时一次，每次只评估最近7天的数据。
- 结果对比：内存峰值从512MB降至180MB，评估耗时从45秒降至12秒，漂移检测的F1分数从0.82提升至0.87（因为避免了OOM导致的评估中断）。
- 复盘经验：资源受限环境下，eval set的“可用性”比“完整性”更重要。宁可牺牲部分历史数据，也要保证评估过程稳定运行。
3.2 数据分布变化对eval set划分的影响
3.2.1 核心原理：时间感知的划分必要性
Edge AI设备通常部署在动态环境中（如户外温湿度变化、用户行为模式改变、传感器老化），数据分布会随时间发生漂移。如果eval set采用随机划分（将过去和未来的数据混在一起），会导致评估结果过于乐观——因为模型在训练时可能已经“见过”未来分布的数据。正确的做法是采用时间序列划分：训练集只使用过去的数据，eval set只使用未来的数据，且两者之间设置隔离带（gap period）。
3.2.2 判断方法：漂移类型与划分策略匹配
| 漂移类型 | 定义 | eval set划分策略 | 示例 |
|---|---|---|---|
| 数据漂移（Data Drift） | 输入特征分布变化 | 按时间窗口划分，确保eval set覆盖不同分布区间 | 传感器读数偏移 |
| 概念漂移（Concept Drift） | 输入与输出的映射关系变化 | 需在eval set中标注概念变化点，分段评估 | 用户偏好改变 |
| 季节效应 | 周期性分布变化 | eval set需包含完整周期（如24小时、7天） | 交通流量昼夜差异 |
| 突发漂移 | 短时间内剧烈变化 | eval set需包含突发事件的样本，并单独标注 | 设备故障、网络攻击 |
3.2.3 操作流程：漂移感知的eval set构建
- 时间戳标注：每条eval样本必须包含采集时间戳，这是时间划分的基础。
- 漂移检测预分析：使用ADWIN或Page-Hinkley算法在历史数据上检测漂移点，将数据划分为多个“稳定段”。
- 分段划分：每个稳定段内随机抽取20%作为eval子集，但保证eval子集的时间顺序在训练集之后。
- 隔离带设置：在训练集末尾与eval集开头之间留出至少1个完整周期（如24小时）的数据作为隔离带，避免时间相关性泄漏。
- 漂移注入验证：在eval set中人工注入已知漂移（如将亮度值整体偏移+20%），验证漂移检测算法能否正确识别。
3.2.4 案例拆解：工业振动监测的eval set划分
某工厂在旋转机械上部署振动传感器，用于检测轴承磨损漂移。设备每10分钟采集一组振动频谱（256维特征），共运行90天。目标是在eval set上评估漂移检测算法能否在轴承故障前48小时发出预警。
- 数据分布特点：振动信号随转速变化（季节效应）、随负载变化（概念漂移）、随轴承磨损加剧（渐进漂移）。
- 划分方案：前60天数据作为训练集，第61~75天作为隔离带，第76~90天作为eval set。在eval set中，第80天开始注入模拟磨损漂移（频谱高频分量增加）。
- 评估结果：算法在第82天检测到漂移，预警提前48小时。若采用随机划分，算法在第78天就检测到“漂移”（实际是训练集和eval集数据混叠导致的假阳性），预警提前72小时但误报率高达30%。
- 复盘经验：时间感知划分虽然牺牲了部分数据量，但显著提升了评估的可靠性。对于漂移检测任务，评估的核心指标不是准确率，而是检测延迟（从漂移发生到被检测到的时间）和误报率。
3.3 实时性要求对eval set评估协议的影响
3.3.1 核心原理：在线评估与离线评估的权衡
Edge AI漂移检测系统通常需要实时响应（如工业控制要求在100ms内响应异常）。这意味着eval set的评估不能是“一次性离线跑完”，而必须支持在线评估——即随着新数据到达，持续评估模型性能。在线评估对eval set提出了新要求：
- 增量更新：eval set需要支持动态添加新样本，同时淘汰旧样本（滑动窗口）。
- 轻量级指标：不能计算需要全量数据的指标（如AUC），而应使用可增量计算的指标（如滑动窗口准确率、指数加权误报率）。
- 评估频率自适应：在数据分布稳定时降低评估频率（如每小时一次），在检测到潜在漂移时提高频率（如每分钟一次）。
3.3.2 操作流程：实时评估协议设计
- 定义评估窗口：设置滑动窗口大小（如最近1000条样本），窗口大小需权衡统计显著性与内存占用。
- 增量指标计算：维护累计统计量（如TP、FP、FN、TN计数），新样本到达时更新计数，计算当前窗口的精确率、召回率。
- 漂移触发评估：当漂移检测算法发出警报时，自动触发一次全量eval set评估（使用最近24小时数据），确认漂移是否真实存在。
- 资源预算控制：设定每次评估的最大耗时（如50ms）和最大内存（如100MB），超限时自动降级为抽样评估。
3.3.3 案例拆解：智能电网电压漂移监测
某智能电表需要在1秒内响应电压异常漂移。设备为ARM Cortex-M7 MCU，内存仅1MB，无操作系统。eval set包含30天的电压采样数据（每100ms一个采样点，共约2600万点），但MCU无法存储全部数据。
- 约束条件：内存1MB，存储4MB Flash，CPU主频400MHz。
- eval set设计：在Flash中存储最近7天的数据（约600万点），采用环形缓冲区覆盖旧数据。评估时使用最近1小时的窗口（36000点），计算电压均值、标准差、谐波失真度。
- 实时评估流程：每10秒计算一次窗口统计量，与基线（训练集统计量）对比。若偏差超过3σ，触发漂移警报，并启动详细评估（计算FFT频谱）。
- 结果：系统成功检测到一次因变压器故障导致的电压谐波漂移，检测延迟为2.3秒（要求≤5秒），误报率为0.5次/天。
- 代价与风险：由于存储限制，无法保留超过7天的历史数据，导致无法检测缓慢漂移（如变压器老化）。解决方案是定期（每周）将统计摘要上传至云端，云端进行长期趋势分析。
3.4 常见误区与总结复盘
3.4.1 误区清单
| 误区 | 后果 | 正确做法 |
|---|---|---|
| 随机划分eval set | 时间泄漏，评估结果虚高 | 时间序列划分，设置隔离带 |
| 一次性加载全部eval数据 | 内存溢出，设备崩溃 | 分片存储，流式加载 |
| 使用全量历史数据评估 | 无法反映当前分布 | 滑动窗口，只评估最近数据 |
| 忽略漂移类型差异 | 评估指标无法反映真实性能 | 按漂移类型分段评估 |
| 评估频率固定不变 | 资源浪费或响应不及时 | 自适应评估频率 |
3.4.2 总结：Edge AI eval set划分的核心原则
- 时间优先：任何eval set划分都必须尊重时间顺序，隔离带是必须的。
- 资源适配：eval set的大小、格式、加载方式必须匹配设备硬件能力。
- 漂移感知：eval set需要覆盖不同的数据分布状态，并标注漂移类型。
- 在线评估：评估协议必须支持增量更新和实时响应，而非一次性离线评估。
- 指标多维：不能只看准确率，要综合检测延迟、误报率、资源开销、鲁棒性。