4. 巡检体系总览：巡检目标、巡检频率、巡检范围、巡检流程
特征存储（Feature Store）作为机器学习基础设施的核心组件，承载着离线与在线特征的管理、存储、 serving 等关键职责。一个完善的巡检体系是保障 Feature Store 高可用、高性能、高一致性的基石。本章从全局视角出发，定义巡检的四大要素：目标、频率、范围与流程，为后续各专项巡检章节提供统一的框架。
4.1 巡检目标
Feature Store 巡检的核心目标可归纳为以下四个维度，确保系统在复杂生产环境中稳定运行：
| 目标维度 | 具体描述 | 关键指标示例 |
|---|---|---|
| 可用性 | 确保 Feature Store 服务（API、存储、Serving）持续可访问，无中断或降级 | 服务可用率 ≥ 99.9%，请求成功率 ≥ 99.5% |
| 性能 | 保障特征读写延迟在 SLA 范围内，支撑在线推理与离线批处理场景 | 在线读取 P99 ≤ 10ms，离线批量写入吞吐 ≥ 1000 rows/s |
| 一致性 | 确保离线与在线特征数据一致，避免训练-推理偏差（Training-Serving Skew） | 特征值差异率 ≤ 0.01%，时间戳对齐率 100% |
| 数据质量 | 监控特征数据的完整性、时效性与准确性，防止脏数据影响模型 | 空值率 ≤ 5%，数据新鲜度 ≤ 1h，异常检测告警覆盖率 100% |
巡检目标对齐原则： 巡检目标应与业务 SLA 强绑定。例如，对于风控场景，在线特征读取延迟的 P99 目标应设定为 ≤ 5ms，而非通用的 10ms。建议每季度根据业务变化重新校准目标阈值。
4.2 巡检频率
不同巡检对象的敏感度与影响范围不同，需要采用差异化的巡检频率。以下为推荐的频率分级策略：
- 实时巡检（秒级/分钟级）： 针对在线 Serving 延迟、服务存活、关键 API 错误率。通常由监控系统自动触发，无需人工介入。
- 高频巡检（小时级）： 针对特征数据新鲜度、离线写入任务状态、存储水位（如 Redis 内存使用率）。确保数据管道健康。
- 中频巡检（每日）： 针对数据一致性校验（离线 vs 在线）、特征统计分布变化、慢查询分析。生成日报供值班人员审查。
- 低频巡检（每周/每月）： 针对存储容量规划、元数据完整性、权限审计、版本兼容性检查。输出周报/月报用于容量规划与架构优化。
频率调整建议： 在 Feature Store 上线初期或进行重大版本升级后，应临时提高巡检频率（如将每日一致性校验改为每小时），待系统稳定后再恢复至常规频率。
4.3 巡检范围
Feature Store 的巡检范围覆盖从数据接入到特征服务的全链路。以下为六大核心巡检域：
- 基础设施层： 计算资源（CPU/内存/磁盘）、网络延迟、容器/虚拟机状态、Kubernetes 集群健康度。
- 存储层： 在线存储（Redis、Cassandra、DynamoDB）、离线存储（HDFS、S3、Delta Lake）、元数据存储（MySQL、PostgreSQL）的容量、性能与数据完整性。
- 计算引擎层： Spark/Flink 任务状态、资源利用率、任务失败率、背压情况。
- 服务层： Feature Serving API 的延迟、吞吐量、错误码分布、限流情况。
- 数据管道层： 特征生成作业的调度延迟、数据倾斜、重复数据、数据丢失。
- 元数据管理层： 特征定义、版本、血缘、标签的完整性，以及权限控制的有效性。
4.4 巡检流程
标准化的巡检流程确保每次巡检可重复、可追溯、可量化。建议采用以下五步闭环流程：
巡检五步闭环法：
- 制定计划： 根据巡检频率与范围，生成巡检清单（Checklist），明确责任人、工具与预期输出。
- 执行采集： 通过自动化脚本、监控 API、日志采集器获取指标数据。对于无法自动化的项（如配置审计），进行人工检查。
- 分析评估： 将采集数据与基线阈值对比，识别异常、瓶颈与风险。使用可视化仪表盘辅助判断。
- 处置修复： 对发现的问题进行分级处理：P0（立即修复）、P1（当日修复）、P2（本周修复）、P3（排期修复）。
- 复盘改进： 记录巡检结果与处置记录，更新巡检基线、优化巡检脚本，并纳入知识库。
4.5 巡检清单模板
为便于落地执行，以下提供一个通用的巡检清单模板，各团队可根据实际架构裁剪：
# Feature Store 巡检清单模板
# 巡检日期：YYYY-MM-DD 责任人：xxx
## 1. 基础设施层
- [ ] Kubernetes 集群节点状态（Ready/NotReady）
- [ ] 各 Pod 资源使用率（CPU ≤ 80%, 内存 ≤ 80%）
- [ ] 网络延迟（跨 AZ ≤ 2ms）
## 2. 存储层
- [ ] 在线存储容量（Redis 内存使用率 ≤ 70%）
- [ ] 离线存储 HDFS 磁盘使用率 ≤ 85%
- [ ] 元数据数据库连接池使用率 ≤ 80%
## 3. 计算引擎层
- [ ] Spark Streaming 作业延迟（Batch Duration ≤ 10s）
- [ ] Flink Checkpoint 成功率 ≥ 99%
- [ ] 任务失败重试次数 ≤ 3
## 4. 服务层
- [ ] Feature Serving API P99 延迟 ≤ 10ms
- [ ] 错误率（5xx）≤ 0.1%
- [ ] 限流触发次数 = 0
## 5. 数据管道层
- [ ] 特征生成作业调度延迟 ≤ 5min
- [ ] 数据倾斜检测（最大分区/最小分区 ≤ 5）
- [ ] 重复数据检测 = 0
## 6. 元数据管理层
- [ ] 特征定义完整性（必填字段无缺失）
- [ ] 权限审计（无异常权限变更）
- [ ] 版本兼容性（无过期版本引用）
自动化建议： 上述清单中 80% 的检查项可通过 Prometheus + Grafana 或自研巡检平台实现自动化采集与告警。人工巡检仅保留配置审计、权限复核等需要业务上下文判断的项。