1. 课程导论：日志索引治理的背景、痛点与目标

1.1 日志爆炸时代的治理困境

在云原生架构大规模普及的今天，一个中等规模的 Kubernetes 集群每天产生的日志量可达 TB 级别。微服务拆分、容器频繁重启、Sidecar 代理、审计日志、应用业务日志等多源数据汇聚到 Elasticsearch、Loki 或 ClickHouse 等存储后端，导致索引数量急剧膨胀、存储成本飙升、查询性能急剧下降。这就是我们所说的日志索引治理问题——它不是简单的“删日志”，而是对日志从产生、采集、结构化、存储到生命周期管理的全链路精细化控制。

1.2 日志索引治理的三大痛点

1.3 治理目标：从“存得住”到“查得快、管得省”

日志索引治理不是一刀切地减少日志量，而是建立一套可量化、可自动化、可观测的治理体系。核心目标包括：

• 成本可预测： 通过索引模板约束字段数量与类型，避免“全字段 text 类型”导致的存储膨胀，将单日日志存储成本控制在预算线内。
• 性能可保障： 按日志重要性设置分片数、副本数和滚动周期，确保核心业务日志的查询 P99 延迟低于 500ms。
• 生命周期自动化： 基于 Prometheus 指标（如索引大小、查询频率）动态调整 ILM 策略，实现热-温-冷-删全自动流转。
• 治理可观测： 将索引数量、分片状态、存储增长率、治理动作执行结果暴露为 Prometheus 指标，形成治理闭环。

1.4 PromOperator 在日志体系中的角色

Prometheus Operator（PromOperator）是 Kubernetes 上管理 Prometheus 及其周边生态的标准控制器。在日志索引治理场景中，PromOperator 并非直接处理日志文本，而是扮演“治理控制平面”的关键角色：

PromOperator 在日志治理中的具体职责可归纳为以下四个层面：

1.5 本课程的核心交付

通过本课程，你将掌握如何利用 PromOperator 生态构建一套完整的日志索引治理体系：

• 治理策略设计： 基于日志分级（Critical / Warning / Debug）设计索引模板、分片策略和生命周期策略。
• PromOperator 配置实战： 编写 ServiceMonitor 采集 Elasticsearch/Loki 指标，配置 PrometheusRule 实现治理告警与自动触发。
• Operator 扩展开发： 编写自定义 Operator 控制器，监听 Prometheus 指标并调用存储层 API 执行索引滚动、清理、冷热迁移。
• 治理可观测性： 构建治理仪表盘，量化治理效果（存储节省率、查询性能提升、治理动作成功率）。