VIP20

本课程属于：049-实时数据产品化 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时数据产品化全流程

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时数据产品全景

定义实时数据产品，对比实时与离线差异，剖析大屏、实时报表、推荐、风控等典型应用场景。

实时数据技术栈概览

消息队列Kafka、实时计算Flink、存储HBase/Redis/ClickHouse、查询与可视化技术选型全景。

技术栈架构

需求分析与产品定义

识别实时业务场景，优先级评估，PRD撰写要点，定义延迟、吞吐、准确性等关键指标。

数据源接入与采集

MySQL Binlog、日志、API、IoT等数据源，Canal/Flume/SDK选型，JSON/Avro/Protobuf协议。

消息队列Kafka实战

Topic/Partition/Consumer Group核心概念，安装配置，生产者消费者API，可靠性保证与监控。

实时计算引擎Flink入门

Flink架构、JobManager/TaskManager/Slot，开发环境搭建，DataStream API与Exactly-Once语义。

Flink时间语义与Watermark

Event Time与Processing Time，Watermark原理与配置，乱序数据处理及实战踩坑经验。

时间语义Watermark

Flink状态管理与容错

Keyed State与Operator State，Memory/Filesystem/RocksDB状态后端，Checkpoint与Savepoint，状态一致性。

Flink SQL与Table API

Flink SQL环境搭建，流表与动态表概念，JOIN/AGG/WINDOW操作，与DataStream API互操作。

实时ETL与数据清洗

过滤、补全、格式转换策略，维表关联（异步IO/广播状态），数据质量监控与告警。

实时存储选型与设计

HBase RowKey设计，Redis数据结构选择，ClickHouse实时写入优化，多场景存储对比。

实时数据仓库分层

ODS/DWD/DWS/ADS分层原则，Kafka作为ODS，Flink实时ETL入仓，与离线数仓差异。

实时指标计算与聚合

实时PV/UV，滑动/滚动窗口，HyperLogLog去重计数，复杂事件处理CEP入门。

实时数据可视化大屏

大屏设计原则，ECharts实时刷新，WebSocket/SSE，性能优化与最佳实践。

大屏可视化

实时数据API服务

API设计原则，Spring Boot构建实时接口，缓存策略，限流与降级方案。

实时数据产品测试

数据流测试策略，模拟数据源，延迟/吞吐测试，数据准确性校验方法。

实时数据监控与运维

Flink Metrics/Rest API监控，Kafka消费延迟，端到端链路监控，告警规则设计。

实时数据治理

元数据管理，数据血缘追踪，质量SLA，实时数据生命周期管理。

实时风控产品实战

风控场景分析，规则引擎与Flink CEP结合，特征计算与模型调用，效果评估。

实时推荐产品实战

推荐系统架构，用户行为实时采集，实时特征计算，召回与排序实时化。

实时BI报表产品实战

报表需求分析，OLAP引擎选型（ClickHouse vs Druid），性能优化，自助式BI设计。

实时数据产品架构设计

端到端架构方法，技术选型决策树，高可用与灾备，成本优化策略。

架构高可用

实时数据产品项目管理

敏捷迭代，跨团队协作（数据/后端/前端/算法），版本管理与灰度发布。

实时数据产品运营

上线运营策略，用户反馈收集与迭代，数据产品价值量化方法。

实时数据安全与权限

数据脱敏，实时访问控制，审计日志，GDPR与数据合规实践。

电商实时大屏案例

需求分析、技术选型、架构设计、实现细节与效果展示，完整电商大屏实战。

金融实时风控案例

金融风控需求，技术选型，架构设计，实现细节与效果展示。

物流实时追踪案例

物流追踪需求，技术选型，架构设计，实现细节与效果展示。

实时数据产品未来趋势

云原生实时计算，实时数据湖，AI与实时数据结合，产品新形态展望。

趋势云原生

课程总结与职业发展

实时数据产品技能图谱，学习路径，面试准备，职业发展方向建议。