VIP20
本课程属于：101-MongoDB企业文档数据库工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

MongoDB Change Streams事件数据工程

共计 30 章节
可可资料掘金营 · 点击在线试看
01
Change Streams事件数据工程导论
目标=理解变更流在MongoDB事件… · 核心价值 · 典型应用场景与整体技术栈
ChangeStreams
02
变更流底层原理与oplog机制
目标=剖析副本集oplog · 逻辑时钟 · 恢复令牌与变更流游标之间的依赖关系
oplog变更流底层原理
03
搭建可观测的变更流实验环境
目标=部署副本集或分片集群 · 开启审计与日志 · 准备数据集并验证watch()基本行…
搭建可观测的变更…目标=部署副本集…
04
变更事件文档结构详解
目标=逐字段解析_id · operationType · fullDocument
变更事件文档结构…id
05
游标管理与事件消费生命周期
目标=掌握tryNext · next · hasNext
游标管理事件消费生命周期
06
恢复令牌与断点续传工程实践
目标=设计基于resumeToken… · 实现消费端故障后精确恢复
恢复令牌断点续传工程实践
07
全文档与增量更新模式
目标=对比fullDocument · fullDocumentBefore… · updateDescription的…
全文档增量更新模式
08
变更流过滤与聚合管道
目标=使用$match · $project · $addFields
变更流过滤聚合管道
09
事件时间与集群时间处理
目标=理解clusterTime · wallTime · 操作时间戳的差异
事件时间集群时间处理
10
变更流与事务的交互
目标=分析事务内多文档变更如何产生事… · 事务边界标识以及消费端幂等性设计
变更流事务的交互
11
分片集群下的变更流
目标=掌握全局变更流 · 分片级变更流 · 跨分片事件顺序与路由键处理
分片集群下的变更…目标=掌握全局变…
12
变更流权限与安全控制
目标=配置read · changeStream · find等权限
变更流权限安全控制
13
消费端容错与错误处理
目标=识别可恢复错误与不可恢复错误 · 设计重试 · 死信队列
消费端容错错误处理
14
事件数据管道架构设计
目标=从变更流到消息队列 · 流处理引擎 · 数据湖与下游存储的端到端拓扑
事件数据管道架构…目标=从变更流到…
15
变更流到Kafka的可靠投递
目标=实现至少一次语义 · 幂等生产者 · 分区键选择与消费偏移管理
Kafka变更流到
16
变更流到数据仓库的实时同步
目标=设计CDC入湖入仓流程 · 处理schema演化 · 去重与合并
变更流到数据仓库…CDC
17
变更流驱动的缓存失效与更新
目标=构建基于事件的缓存一致性方案 · 处理缓存穿透 · 击穿与雪崩
变更流驱动的缓存…更新
18
变更流与搜索索引同步
目标=将MongoDB变更实时同步到… · 保证索引最终一致
变更流搜索索引同步
19
变更流在微服务事件通知中的应用
目标=实现服务间解耦 · 事件溯源与Saga补偿事务
变更流微服务事件通知
20
变更流事件模式演化与兼容性
目标=管理事件schema版本 · 向后兼容 · 消费者驱动契约与迁移策略
变更流事件模式演…兼容性
21
变更流性能调优
目标=优化游标批大小 · 聚合管道 · 网络往返
变更流性能调优目标=优化游标批…
22
变更流监控与可观测性
目标=采集游标延迟 · 事件吞吐 · 恢复令牌滞后
变更流监控可观测性
23
变更流数据质量与校验
目标=实现事件完整性 · 顺序性 · 重复性检测与对账修复机制
变更流数据质量校验
24
变更流与批处理协同
目标=设计Lambda/Kappa架… · 统一实时与离线视图 · 处理回填与重放
变更流批处理协同
25
变更流在审计与合规场景的落地
目标=构建不可篡改的变更日志 · 保留策略与GDPR删除事件处理
变更流审计
26
变更流与物化视图维护
目标=实时维护聚合视图 · 图关系与统计指标 · 处理更新与删除事件
变更流物化视图维护
27
变更流在物联网与时间序列场景的应用
目标=处理高频写入 · 设备状态变更与降采样事件管道
变更流物联网
28
变更流与机器学习特征管道
目标=实时生成特征 · 更新特征存储并触发模型推理
变更流机器学习特征管道
29
变更流工程化部署与运维
目标=容器化 · Kubernetes Operato… · 滚动升级
变更流工程化部署运维
30
综合实战
目标=设计并实现一个端到端的Mong… · 涵盖采集 · 传输
综合实战Mong