VIP20

本课程属于：041-信用额度定价流式决策链路 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Spark与特征服务集成教程：信用额度定价流式决策

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

信用额度定价业务背景 · 流式决策与传统批处理的区别 · 课程目标与前置知识

课程导论信用额度定价业务…

Spark Streaming核心概念

DStream · 微批次架构 · Receiver与Direct模式

Structured Streaming核心概念

无界表 · Event-Time与Waterma… · 输出模式(Append/Update…

StructuredStreaming

特征服务概述

特征工程在实时决策中的角色 · 特征存储(Feature Store… · 在线与离线特征一致性

特征服务概述特征工程

Feast特征存储平台

Feast架构 · 核心概念(Feature View/… · 本地部署与配置

Feast特征存储平台

实时特征计算

基于Spark Streaming的… · 特征新鲜度与延迟权衡

实时特征计算Spark

特征服务API设计

RESTful与gRPC接口 · 批量特征检索与单点特征检索 · 特征路由与缓存策略

API特征服务

Spark与特征服务集成模式

Spark Streaming消费K…

Spark特征服务集成模式

信用额度定价模型

逻辑回归与GBDT在额度定价中的应用 · 模型输入特征构建 · 模型序列化与加载

信用额度定价模型GBDT

实时模型推理

Spark UDF调用PMML/ON… · PMML模型导出与部署 · 模型版本管理

实时模型推理Spark

流式特征工程Pipeline

使用Spark ML Pipelin… · Pipeline持久化

Pipeline流式特征工程

特征服务高可用设计

特征缓存(Redis/Guava) · 降级策略 · 超时与重试机制

特征服务高可用设…Redis/Guava

状态管理与Checkpoint

Spark Streaming Ch… · 状态算子(mapWithState) · 故障恢复场景

Checkpoint状态管理

数据一致性保障

Exactly-Once语义 · 幂等输出 · Kafka Offset管理

数据一致性保障Exactly-Once

实时特征监控

特征分布漂移检测 · 特征缺失率监控 · 特征延迟告警

实时特征监控特征分布漂移检测

信用额度定价策略

基于风险评分的额度计算 · 额度调整规则引擎 · 额度上限与下限约束

信用额度定价策略基于风险评分的额…

A/B测试与灰度发布

流式场景下的A/B实验框架 · 特征服务路由分流 · 模型版本灰度切换

Spark Streaming并行度… · 特征服务连接池优化 · 序列化优化(Kryo)

性能优化Spark

安全与权限控制

特征服务鉴权(OAuth2/API… · 数据脱敏 · Spark ACL配置

安全权限控制

端到端集成案例

实时信用额度定价系统架构设计 · 数据流(交易事件->特征计算->定价…

端到端集成案例实时信用额度定价…

Kafka作为事件总线

Topic设计 · 分区策略 · Schema Registry(Av…

Kafka作为事件总线

特征存储与在线服务同步

离线批量特征写入Feast · 在线特征同步机制 · 特征新鲜度SLA

特征存储线服务同步

复杂事件处理(CEP)

基于Flink/Spark的时序模式… · 触发额度调整

CEP复杂事件处理

特征回溯与时间旅行

基于时间戳的特征检索 · 历史特征回放 · 模型回测数据准备

特征回溯时间旅行

多租户特征隔离

不同业务线(信用卡/消费贷)特征命名… · 资源配额管理

多租户特征隔离不同业务线

流式特征计算优化

增量计算与预聚合 · Bloom Filter去重 · HyperLogLog基数估计

流式特征计算优化增量计算

模型在线学习

基于流式数据的模型增量更新 · 特征服务与模型服务联动 · 在线评估指标

模型线学习

灾难恢复与多活架构

跨数据中心特征同步 · Active-Active部署 · 数据复制策略

灾难恢复多活架构

Spark动态资源分配 · 特征缓存命中率优化 · 冷热数据分离

成本优化Spark

课程总结与最佳实践

架构设计原则 · 常见陷阱 · 生产环境运维经验

课程总结最佳实践