1. 课程导论：ELK日志检索准入门禁Agent的背景、目标与整体架构概览

1.1 背景与痛点

在大型分布式系统中，日志数据是运维排障、安全审计和业务分析的核心资产。ELK（Elasticsearch、Logstash、Kibana）栈已成为日志集中管理的行业标准。然而，随着微服务规模和日志量的爆发式增长，日志检索入口面临严峻的安全与治理挑战：

• 未授权访问风险：Kibana或Elasticsearch HTTP接口直接暴露，缺乏细粒度的身份校验。
• 日志泄露隐患：敏感日志（如支付、用户隐私）可能被非授权人员检索。
• 检索行为不可控：无法追溯“谁、在何时、检索了什么索引”，审计缺失。
• Agent部署混乱：日志采集Agent（Filebeat、Metricbeat等）缺乏统一的准入机制，恶意Agent可能注入伪造日志。

为解决上述问题，本课程设计了一套ELK日志检索准入门禁Agent系统，在ELK集群前端构建一道安全屏障，实现“先认证、后检索、全审计”的管控目标。

1.2 设计目标

准入门禁Agent系统需达成以下关键目标：

1.3 整体架构概览

系统采用分层解耦设计，从上到下分为四层：接入层、认证与准入层、日志检索层、审计与监控层。核心组件包括门禁Agent、认证中心、Agent注册中心、审计日志存储等。

1.4 核心组件与职责

系统由以下关键组件构成，各组件职责明确，协同工作：

1.5 通信机制概览

系统内部通信采用双向TLS加密，确保数据机密性与完整性。主要通信链路包括：

• 用户 → 门禁Agent：HTTPS + （Bearer in Header）
• 采集Agent → 门禁Agent：gRPC over TLS + Agent身份证书
• 门禁Agent → 认证中心：内部REST API over mTLS
• 门禁Agent → Elasticsearch：HTTP over TLS + 内部服务账户
• 门禁Agent → 审计日志：异步批量写入，Kafka缓冲

1.6 数据流与请求生命周期

一次完整的日志检索请求经过以下步骤：

1. 请求到达：用户或采集Agent发起HTTPS请求到门禁Agent。
2. TLS握手：门禁Agent验证客户端证书（Agent场景）或要求携带（用户场景）。
3. /证书校验：门禁Agent将发送至认证中心验证，或直接校验Agent证书。
4. 权限判定：认证中心返回用户/Agent角色与允许访问的索引列表。
5. 请求转发：门禁Agent将合法请求转发至Elasticsearch集群，并注入审计追踪ID。
6. 结果返回：Elasticsearch返回检索结果，门禁Agent透传回客户端。
7. 审计记录：门禁Agent异步将请求详情写入审计日志索引。

1.7 课程内容规划

本课程共30章，覆盖从理论到实战的全流程。以下是前10章的核心内容预览：