📚 课程目录第1章课程导论

1. 课程导论：云原生日志平台架构概述、etcd在日志平台中的核心角色、压测沙盘与一致性复核的必要性

在云原生环境下，日志平台需要应对海量、多源、实时、高可用的数据采集与存储挑战。一个典型的云原生日志平台采用分层解耦架构，通常包含以下核心组件：

层级	组件	职责
采集层	Fluentd / Filebeat / Logstash	从容器、节点、应用无侵入采集日志，支持多源输入与轻量过滤
缓冲层	Kafka / Pulsar	削峰填谷，解耦生产与消费，保证数据不丢失
计算与索引层	Logstash / Flink / Elasticsearch	实时解析、字段提取、索引构建，支撑全文检索与聚合分析
存储层	Elasticsearch / OpenSearch	分布式存储日志数据，提供高可用与数据持久化
可视化层	Kibana / Grafana	日志检索、仪表盘展示、告警配置
调度与元数据层	etcd	存储集群元数据、配置信息、服务发现、分布式锁与选主

  架构要点： 日志平台的核心挑战在于“高吞吐写入”与“元数据强一致”之间的平衡。采集与缓冲层追求吞吐，而调度与元数据层（etcd）则必须保证的一致性与可靠性。

etcd 作为云原生领域的“协调中枢”，在日志平台中承担着不可替代的职责。它并非直接存储日志内容，而是管理整个集群的元数据与分布式协调。具体角色包括：

服务注册与发现： Elasticsearch 节点、Kafka Broker、采集器实例启动时向 etcd 注册自身地址与状态，其他组件通过 etcd 感知集群拓扑变化。
分布式选主： 在日志平台中，某些任务（如索引生命周期管理、告警引擎）只能由单个 Leader 执行。etcd 提供基于 Raft 的选主机制，确保 Leader 唯一性。
配置存储与热更新： 采集规则、索引模板、告警阈值等配置存储在 etcd 中，支持运行时动态变更，无需重启服务。
分布式锁： 防止多个实例同时执行同一资源变更操作（如索引滚动、分片分配），避免数据冲突。
集群状态持久化： 记录集群成员、分片分配、数据迁移进度等关键状态，保证集群在故障恢复后能重建正确的视图。

关键认知： 日志平台的数据流（日志内容）走的是“采集→缓冲→索引→存储”路径，而控制流（元数据、配置、锁）全部依赖 etcd。etcd 的稳定性直接决定了日志平台的控制面是否可用。

在生产环境中，etcd 集群会面临资源变更（如节点扩缩容、存储配额调整、租约过期时间修改）和持续的高负载压力。这些操作如果处理不当，可能导致 etcd 集群出现数据不一致、脑裂或性能劣化，进而引发日志平台元数据混乱、采集中断、索引失败等严重故障。

因此，引入压测沙盘与一致性复核机制是保障 etcd 可靠性的核心手段：

概念	定义	必要性
压测沙盘	一个隔离的、可复现的测试环境，模拟生产级负载与资源变更场景	在不影响生产集群的前提下，验证 etcd 在极限压力下的行为，提前发现性能瓶颈与一致性问题
一致性复核	对 etcd 集群中存储的元数据与日志平台实际状态进行交叉比对，验证数据是否一致	确保资源变更操作（如扩缩容、配置更新）没有引入数据不一致，防止“静默错误”扩散

风险警示： 缺少压测沙盘，生产变更如同“盲操作”；缺少一致性复核，不一致状态可能长期潜伏，直到触发大规模故障才被发现。两者是 etcd 运维的“安全双保险”。

本课程将带领学员深入掌握以下核心能力：

  课程价值： 通过“理论 + 沙盘 + 复核”三位一体的学习模式，学员将具备独立诊断和修复 etcd 一致性问题的实战能力，成为云原生日志平台中真正可靠的 SRE。