VIP20
本课程属于：005-金融特征平台样本偏差校验 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

实时特征与离线特征偏差校验指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
实时特征与离线特征的定义 · 偏差产生的根本原因 · 偏差校验的重要性与业务影响
课程导论实时特征
02
特征工程基础回顾
离线特征生产流程（批处理ETL） · 实时特征生产流程（流处理） · 两种架构的核心差异
特征工程基础回顾ETL
03
偏差分类体系
数据源偏差 · 计算逻辑偏差 · 时间窗口偏差
偏差分类体系数据源偏差
04
数据源偏差详解
离线与实时接入同一数据源的不同快照 · binlog与全量快照的差异 · 数据延迟导致的不一致
数据源偏差详解离线
05
计算逻辑偏差详解
聚合函数实现差异（如COUNT DI… · UDF在不同引擎中的行为差异 · 精度与舍入规则
计算逻辑偏差详解COUNT
06
时间窗口偏差详解
离线固定窗口（T-1） vs 实时滑… · 事件时间与处理时间 · 水位线（Watermark）的影响
时间窗口偏差详解T-1
07
状态一致性偏差详解
离线全量计算 vs 实时增量计算 · 状态后端存储差异 · 重启与回溯导致的状态重置
状态一致性偏差详…vs
08
模型服务偏差详解
在线预测时特征缺失的处理策略 · 默认值填充差异 · 特征版本管理混乱
模型服务偏差详解线预测时特征缺失…
09
校验指标体系设计
准确率 · 召回率 · 均方根误差（RMSE）
校验指标体系设计准确率
10
校验阈值设定方法
基于业务容忍度的静态阈值 · 基于统计分布的动态阈值 · sigma原则与百分位法
校验阈值设定方法基于业务容忍度的…
11
离线校验方案设计
基于T+1全量比对 · 抽样比对策略 · 分区级与字段级校验粒度
离线校验方案设计T+1
12
实时校验方案设计
基于消息队列的准实时比对 · 滑动窗口内的分钟级校验 · 异常事件驱动告警
实时校验方案设计基于消息队列的准…
13
校验工具选型
Apache Griffin · Deequ · Great Expectations
校验工具选型Apache
14
数据比对引擎实现
内存比对 vs 数据库JOIN比对…
数据比对引擎实现vs
15
特征血缘追踪技术
元数据中心建设 · 特征生成链路解析 · 字段级血缘的自动化采集
特征血缘追踪技术元数据
16
自动化校验流水线
CI/CD集成 · 定时任务调度（Airflow/Dol… · 校验结果持久化
自动化校验流水线CI/CD
17
告警与通知机制
分级告警策略（P0/P1/P2） · 告警渠道集成（钉钉/企微/邮件） · 告警静默与升级
告警通知机制
18
偏差根因定位方法论
维度下钻分析 · 时间序列对比 · 特征贡献度分解
偏差根因定位方法…维度下钻分析
19
常见偏差案例一
用户画像标签中实时活跃天数与离线统计…
常见偏差案例一用户画像标签
20
常见偏差案例二
推荐系统实时点击率特征与离线训练特征…
常见偏差案例二推荐系统实时点击…
21
常见偏差案例三
风控模型中实时交易特征与离线回溯特征…
常见偏差案例三风控模型
22
常见偏差案例四
广告竞价中实时出价特征与离线模拟特征…
常见偏差案例四广告竞价
23
特征一致性测试框架
单元测试（单特征） · 集成测试（特征组） · 回归测试（全量特征）
特征一致性测试框…单元测试
24
数据质量SLA制定
特征可用性 · 时效性 · 准确性
SLA数据质量
25
特征版本管理策略
特征注册中心 · 版本号管理 · 向后兼容性设计
特征版本管理策略特征注册
26
实时特征回放技术
基于离线数据模拟实时流 · 回放验证特征逻辑一致性 · 历史数据重算
实时特征回放技术基于离线数据模拟…
27
大规模特征校验性能优化
数据采样 · 近似计算（HyperLogLog） · 分桶比对
大规模特征校验性…数据采样
28
跨团队协作流程
特征需求评审 · 校验报告共享 · 问题跟踪与闭环（Jira/工单系统）
跨团队协作流程特征需求评审
29
监控大盘建设
实时特征偏差率仪表盘 · 离线校验通过率趋势 · Top偏差特征排行榜
监控大盘建设实时特征偏差率仪…
30
课程总结与最佳实践
偏差校验成熟度模型 · 持续改进路线图 · 常见陷阱与避坑指南
课程总结最佳实践