VIP20

本课程属于：041-信用额度定价流式决策链路 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

从Spark到流式决策：额度定价链路教程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

课程导论与背景

为什么需要从Spark批处理演进到流…

课程导论背景

传统Spark批处理架构回顾

Spark Core/RDD/Dat… · 批处理在额度定价中的典型应用（T+1…

流式决策核心概念

事件时间 · 处理时间 · 水位线（Watermark）

流式决策核心概念事件时间

实时额度定价业务场景

实时授信 · 动态调额 · 利率定价

实时额度定价业务…实时授信

技术选型对比

Spark Streaming vs… · 选型依据与适用场景

技术选型对比Spark

Apache Kafka作为流式数据总线

Topic设计 · 分区策略 · 消息可靠性保证在定价链路中的实践

Flink核心概念与架构

JobManager/TaskMan… · 数据流图 · 并行度

Flink核心概念

Flink DataStream API实战

Source/Sink定义 · Transformation算子（m…

FlinkDataStream

Flink SQL与Table API

动态表 · 连续查询 · 如何用SQL描述定价规则

水位线与乱序处理

在实时定价中如何处理延迟到达的客户行… · 避免定价偏差

水位线乱序处理

状态后端与状态管理

ValueState/MapStat… · 在用户画像聚合中的状态设计

状态后端状态管理

Flink的Exactly-Once语义实现

两阶段提交 · Kafka Sink的幂等性 · 端到端一致性保障

FlinkExactly-Once

实时特征工程

从Kafka消费原始事件 · 使用Flink进行滑动窗口聚合 · 特征衍生（如近30天消费均值）

实时特征工程Kafka

规则引擎集成

在Flink中嵌入Drools/自研… · 实现动态定价规则热更新

规则引擎集成Flink

机器学习模型在线推理

使用Flink的ProcessFun… · 实现实时评分卡

机器学习模型线推理

额度定价链路架构设计

数据接入层 -> 特征层 -> 决策… · 分层架构详解

额度定价链路架构…数据接入层

实时数仓与维度关联

使用Flink SQL关联HBase… · 产品参数等维度表

实时数仓维度关联

流式ETL与数据清洗

对原始埋点数据进行去重 · 格式校验 · 异常值过滤

复杂事件处理（CEP）

使用Flink CEP库检测客户短时… · 触发定价调整

CEP复杂事件处理

多流Join与关联

如何将申请流 · 交易流 · 征信流进行实时关联

反压机制与性能调优

Flink反压监控 · 算子链优化 · 缓冲区调优

反压机制性能调优

容错与高可用

Flink集群部署模式 · ZooKeeper/K8s协调 · 任务重启策略与状态恢复

容错高可用

监控与告警

集成Prometheus/Grafa… · 吞吐量 · Checkpoint失败率

从Spark迁移到Flink的实战策略

代码重构 · 状态迁移 · 双跑验证

案例实战一

实时授信额度计算——基于Flink… · 负债 · 征信的实时评分与额度输出

案例实战一Flink

案例实战二

动态利率定价——根据实时市场资金成本 · 客户风险等级 · 使用Flink CEP调整利率

案例实战二动态利率定价

案例实战三

欺诈检测与额度冻结——利用Flink… · 实时识别团伙欺诈并冻结额度

案例实战三Flink

测试与验证

单元测试 · 集成测试 · 混沌工程在流式定价链路中的应用

生产环境最佳实践

日志规范 · 参数配置 · 灰度发布

生产环境最佳实践日志规范

课程总结与未来展望

流式决策在信用评分 · 实时风控 · 智能定价中的演进方向

课程总结未来展望