VIP14

本课程属于：029-实验数据资产与智能平台 生物技术_生物工程与智能实验室 · 共 14 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时数据服务API从入门到实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时数据服务概述

什么是实时数据服务、实时与批处理的区别、典型应用场景（监控、推荐、风控）。

技术选型与架构设计

常见技术栈（Kafka, Flink, Redis）、架构模式（Lambda vs Kappa）、如何选择。

Docker Compose搭建Kafka + Flink + Redis开发环境。

Kafka核心概念

Topic、Partition、Consumer Group、Offset。

Kafka生产者实战

Java/Python客户端发送消息、acks配置、重试机制。

生产者客户端

Kafka消费者实战

订阅模式、手动提交Offset、幂等消费。

消费者 Offset

Kafka高级特性

消息顺序性、事务、Exactly-Once语义。

事务 Exactly-Once

Flink基础概念

DataStream API、并行度、算子（Map, Filter, KeyBy）。

Flink时间语义

Event Time、Processing Time、Watermark机制。

时间语义 Watermark

Flink窗口操作

Tumbling Window、Sliding Window、Session Window。

Flink状态管理

ValueState、ListState、Checkpoint与Savepoint。

Flink与Kafka集成

Flink Kafka Connector、Source/Sink配置。

集成 Connector

Redis基础与数据结构

String、Hash、List、Set、Sorted Set。

Redis 数据结构

Redis发布订阅

Pub/Sub机制、与Kafka的对比。

消息队列实现、消费者组。

Streams 消息队列

API网关设计

统一入口、鉴权、限流（令牌桶算法）。

RESTful API设计

资源命名、状态码、版本控制。

REST 设计规范

WebSocket实战

建立长连接、推送实时数据、心跳机制。

WebSocket 长连接

gRPC与Protobuf

定义服务、生成代码、流式传输。

数据序列化

JSON vs Avro vs Protobuf，Schema Registry。

序列化 Schema

实时ETL实战

从Kafka消费数据，清洗转换后写入Redis。

实时指标计算

使用Flink计算PV/UV、滑动窗口平均值。

实时告警系统

规则引擎、阈值判断、钉钉/邮件通知。

实时推荐特征

用户行为采集、特征拼接、实时更新到Redis。

API性能优化

连接池、异步IO、缓存策略（本地缓存 + Redis）。

监控与可观测性

Prometheus + Grafana监控API指标，日志收集。

高可用与容错

多副本部署、Flink重启策略、Kafka MirrorMaker。

高可用容错

使用wrk/Locust模拟高并发，分析瓶颈。

API鉴权（JWT）、数据加密（TLS）、防重放攻击。

构建一个完整的实时用户行为分析API服务。

专注课程资料整理