📚 课程目录第1章课程导论

1. 课程导论：模型服务中数据质量的重要性、灰度部署的概念与价值

1.1 为什么模型服务需要关注数据质量？

模型在离线训练阶段通常依赖经过严格清洗和标注的高质量数据集，但在线服务（Serving）阶段面临的是真实、多变、不可控的用户请求数据。一旦输入数据出现异常，模型推理结果将直接偏离预期，轻则影响用户体验，重则导致业务决策失误甚至系统故障。

  核心观点： 数据质量是模型服务稳定性的“第一道防线”。离线模型精度再高，也无法抵御在线数据的“脏数据攻击”。

在线服务数据质量问题主要来源于以下三类场景：

特征缺失或异常： 上游业务字段为空、格式错误、超出合理范围（如年龄为 -1 或 200）。
分布漂移（Data Drift）： 用户行为或环境变化导致实时特征分布与训练集不一致，模型泛化能力下降。
对抗性输入： 恶意用户构造的异常请求，试图绕过模型规则或触发错误行为。

数据质量问题类型	典型表现	对模型服务的影响
特征缺失	字段为 NULL、空字符串	模型推理异常、默认值偏差
特征越界	数值超出业务合理范围	输出概率失真、排序错误
分布漂移	实时均值/方差偏离训练基线	模型 AUC 下降、业务指标恶化
格式错误	JSON 解析失败、类型不匹配	请求拒绝、服务降级

1.2 灰度部署：从“全量发布”到“渐进式验证”

传统的数据质量规则部署方式通常是“全量上线”——规则开发完成后一次性推送到所有服务节点。这种方式风险极高：一旦规则存在逻辑缺陷或性能瓶颈，将直接导致大规模服务异常。灰度部署（Canary Deployment / Gradual Rollout）正是为了解决这一痛点而设计。

灰度部署的核心思想是：将新规则先应用于一小部分流量或节点，在真实环境中验证其正确性和稳定性，确认无误后再逐步扩大范围，直至全量覆盖。

灰度部署的核心价值： 将“全量风险”转化为“可控小范围验证”，通过监控指标（准确率、延迟、错误率）自动判断是否继续扩大或回滚，实现数据质量规则的平滑上线。

1.3 灰度部署在数据质量规则中的独特价值

数据质量规则与模型版本更新不同，它直接作用于输入数据流，对实时性和准确性要求更高。灰度部署在数据质量场景中具有以下不可替代的价值：

降低误杀风险： 新规则可能误判正常数据为异常（假阳性），灰度部署允许在小流量中验证误杀率，避免影响全量用户。
性能压测： 数据质量规则通常涉及复杂的校验逻辑（如正则匹配、跨字段校验、外部字典查询），灰度部署可以暴露性能瓶颈而不影响整体服务。
渐进式调参： 规则的阈值、权重、优先级等参数可以在灰度过程中根据真实数据分布动态调整，无需重新发布。
回滚安全网： 一旦发现规则导致服务指标恶化（如请求超时率上升），可立即将灰度流量切回旧规则，恢复时间从分钟级降至秒级。

对比维度	全量部署	灰度部署
风险暴露范围	100% 流量	1% → 10% → 逐步扩大
问题发现时间	上线后数分钟至数小时	灰度阶段即可发现
回滚代价	全量回滚，影响面大	仅回滚灰度流量，影响极小
参数调优空间	需重新发布	灰度过程中动态调整
对线上服务的影响	可能直接导致服务降级	可控范围内验证

1.4 本课程学习目标与前置知识

通过本课程的学习，你将掌握以下核心能力：

理解数据质量规则体系： 掌握特征校验、分布监控、异常检测等常见规则的设计原理。
掌握灰度部署工程实践： 学会使用流量路由、配置中心、监控告警等基础设施搭建灰度环境。
构建灰度决策闭环： 基于实时指标（准确率、召回率、延迟、错误率）自动判断规则是否可扩大或需要回滚。
规避常见陷阱： 了解灰度部署中流量切分不均、监控盲区、规则冲突等典型问题及解决方案。

前置知识要求： 本课程假设你已具备以下基础：
• 熟悉模型服务（Serving）的基本架构（如请求-响应流程、特征工程、模型推理）。
• 了解基本的数据质量概念（如完整性、准确性、一致性、时效性）。
• 具备一定的 Python 或 Java 编程能力，能够理解代码示例。
• 对微服务、配置中心（如 Apollo、Nacos）、监控系统（如 Prometheus、Grafana）有基本认知。

本课程将理论与实践紧密结合，每一章都包含可运行的代码片段、配置示例和架构图，帮助你快速将灰度部署能力落地到实际项目中。