VIP20
本课程属于：020-云原生日志平台组件拓扑图 云原生架构与平台工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多集群日志平台查询架构演进与拓扑迁移

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论与演进总览
多集群日志平台的定义 · 核心挑战（数据孤岛 · 一致性
课程导论演进总览
02
阶段一
单体集群日志架构（单集群时代） · 组件角色 · 单点故障风险
阶段一单体集群日志架构
03
单体架构的痛点与扩容困境
索引性能瓶颈 · 磁盘I/O争抢 · 查询延迟升高
单体架构的痛点扩容困境
04
阶段二
多集群独立部署（烟囱式架构） · 拓扑图展示多套独立ELK · 无统一视图
阶段二多集群独立部署
05
烟囱式架构的运维灾难
索引模板管理混乱 · 查询需切换多个Kibana · 告警规则重复配置
烟囱式架构的运维…索引模板管理混乱
06
阶段三
集中式元数据与查询层（Proxy/网… · 拓扑图展示多集群写入统一网关 · 查询仍分散
阶段三Proxy
07
集中式写入网关的架构细节
Ingest Node Pipeli… · 路由策略（基于租户/时间） · 写入QPS均衡
式写入网关的架构…Ingest
08
跨集群搜索（Cross-Cluster Search）的引入
Elasticsearch CCS功… · 拓扑图展示一个Kibana连接多个远… · CCS的延迟与权限问题
Cross-Cluste…Search
09
CCS的性能瓶颈与优化
网络开销 · 滚动查询超时 · 聚合性能下降
CCS的性能瓶颈
10
阶段四
统一日志存储层（数据湖/对象存储底座… · 拓扑图展示Hot节点（SSD）+ W…
阶段四统一日志存储层
11
冷热分层架构的组件拓扑
Elasticsearch ILM策… · 索引生命周期管理 · S3 Repository插件
冷热分层架构的组…Elasticsearc…
12
统一元数据管理（索引状态服务）
引入外部元数据服务（如Zookeep… · 集群拓扑状态 · 跨集群索引映射
统一元数据管理索引状态服务
13
阶段五
联邦查询引擎（Presto/Trin… · Hive Metastore · 对象存储
阶段五Presto/Trin
14
联邦查询引擎的SQL化改造
使用Trino统一SQL接口查询ES · Hive · S3
SQL联邦查询引擎的
15
联邦查询的挑战与优化
数据源类型转换 · 谓词下推 · 分片并行度控制
联邦查询的挑战优化
16
阶段六
统一日志采集层（Agent管理平台） · 拓扑图展示Agent管理平台（控制面…
阶段六Agent
17
Agent管理平台的架构组件
配置中心（Apollo/Consul… · Agent心跳上报 · 动态Pipeline下发
Agent管理平台的架构组…
18
阶段七
统一告警与监控（事件驱动架构） · 拓扑图展示ES→Kafka→Aler… · 告警去重与聚合
阶段七统一告警
19
事件驱动告警的拓扑细节
Kafka Connect（ES S… · 告警规则引擎（基于规则模板） · 通知渠道（钉钉/邮件/PagerDu…
事件驱动告警的拓…Kafka
20
阶段八
统一日志视图与可观测性（Grafan… · Loki（日志） · Tempo（链路）
阶段八Grafan
21
Loki与Elasticsearch的混合架构
Loki处理实时流日志 · ES处理历史/结构化日志 · 拓扑图展示双写策略与查询路由
LokiElasticsearc…
22
阶段九
基于Service Mesh的日志旁… · 直接发送到Kafka/ES
阶段九Service
23
Sidecar采集的架构优势与挑战
无侵入 · 标准化 · 但资源开销（CPU/Memory）
Sidecar采集的架构优势
24
阶段十
云原生日志平台（Operator +… · 拓扑图展示Kubernetes CR…
阶段十Operator
25
Operator架构的组件拓扑
Controller Manager · Reconciler · Webhook
Operator架构的组件拓扑
26
阶段十一
全球多区域日志平台（异地多活/灾备） · 跨区域数据同步（CCR/Logsta…
阶段十一全球多区域日志平…
27
跨区域数据同步的拓扑细节
CCR（Cross-Cluster… · 延迟监控 · 冲突解决（时间戳/版本号）
跨区域数据同步的…CCR
28
阶段十二
统一日志治理与成本优化（数据分级与降… · 降采样（Rollup/聚合索引） · 存储成本分析
阶段十二统一日志治理
29
成本优化架构的组件拓扑
Rollup Job · 压缩算法（ZSTD/Best Com… · 索引生命周期策略（Delete/Fr…
成本优化架构的组…Rollup
30
课程总结与未来展望
架构演进路径回顾（从单体到全球多活） · 未来趋势（AI驱动日志分析 · eBPF无侵入采集
课程总结未来展望