1. 课程导入与平台定位

在安全运营中心(SOC)的日常工作中,最消耗分析师精力的往往不是"发现威胁",而是"从海量数据里把威胁找出来"。一个中等规模企业每天产生的终端进程日志、网络连接日志、身份认证日志、云审计日志,轻松就能达到数十亿条。如果把这些数据比作一座不断增高的图书馆,那么 Elastic 安全事件分析与数据检索平台要解决的,就是"如何让分析师在几秒内精准抽出一本需要的书,并看清这本书与其他书之间的关联"。

本课程讨论的平台,核心目标可以概括为三句话:统一采集与存储安全相关数据,快速检索与关联跨源事件,可视化与告警驱动安全响应。它不是单纯的日志存储系统,也不是只做规则匹配的告警引擎,而是把"数据底座 + 检索能力 + 分析界面 + 检测规则"整合在一起的安全分析工作台。

典型使用场景

理解平台定位,最直接的方式是看它在真实工作中被用来做什么。以下是几类高频场景:

  • 威胁狩猎(Threat Hunting):分析师带着假设去检索,例如"最近 24 小时内是否有非运维账号在凌晨登录堡垒机后执行了 PowerShell 下载行为"。这要求平台支持跨索引、跨字段的快速过滤与聚合。
  • 告警调查与溯源:当检测规则触发一条"可疑横向移动"告警后,分析师需要围绕告警实体(主机、账号、IP)展开时间线,查看前后 30 分钟的相关事件,判断是真实攻击还是误报。
  • 合规审计与取证:按监管要求保留特定日志(如登录失败、权限变更)并支持按时间、主体、操作类型导出证据链。
  • 安全态势看板:面向管理层展示攻击来源分布、告警趋势、TOP 受影响资产等指标。

这些场景对平台的共同要求是:写入吞吐高、检索延迟低、字段结构灵活、关联分析方便。Elastic 的倒排索引与列式存储(doc_values)恰好匹配这类"先写入、后多维查询"的安全数据特征。

与 SIEM、日志分析平台的关系

很多初学者会问:Elastic 安全平台和传统 SIEM 是什么关系?可以这样理解:SIEM 是一套能力框架,Elastic 是实现这套框架的一种技术栈。传统 SIEM 通常把采集、解析、关联规则、告警、报表打包成商业产品;而 Elastic 安全平台把其中"数据存储与检索"这一层做得极其强大,再通过 Elastic Security 模块补齐检测规则、告警管理、案例管理(Cases)和时间线(Timeline)等 SIEM 能力。

与通用日志分析平台相比,安全平台的区别在于数据模型和检测语义。通用日志平台关心"日志能不能查";安全平台还关心"字段是否映射到 ECS(Elastic Common Schema)"、"检测规则能否稳定引用这些字段"、"告警能否关联到资产与身份上下文"。因此,本课程会反复强调 ECS 字段规范,因为它是检索、检测、可视化三者能协同工作的前提。

可以把平台理解为三层:底层是 Elasticsearch 存储与检索,中层是 Logstash/Beats/Elastic Agent 采集与解析,上层是 Kibana 中的 Security 应用(检测、告警、时间线、案例)。三层之间通过索引与字段约定解耦。

整体技术架构概览

下面这张图展示了平台从数据源到分析界面的完整链路,以及各层的关键组件与数据流向。它对应本节最需要建立的整体认知:数据从哪里来、经过什么处理、最终以什么形式被分析师使用。

数据源 终端 EDR / 进程日志 网络设备 / 防火墙 身份认证 / AD 日志 云审计 / 容器日志 应用 / 数据库审计 威胁情报 / IOC 采集与解析 Elastic Agent 统一采集 / 集成策略 Beats Filebeat / Winlogbeat Logstash grok / mutate / ECS Ingest Pipeline 字段归一化 Kafka / 缓冲队列 削峰 / 解耦 存储与检索 Elasticsearch 集群 分片 / 副本 / ILM 索引与数据流 logs-* / .alerts-* ECS 字段映射 host / user / source 检测规则引擎 EQL / KQL / 阈值 告警索引 .alerts-security 分析与响应 Kibana Security 检测 / 告警面板 Timeline 时间线 跨源事件关联 Discover 检索 KQL / DSL 查询 Dashboard 看板 态势 / 趋势 Cases 案例管理 调查记录 / 协作 响应动作 隔离 / 阻断 / 工单 检测规则与情报反馈:优化采集字段与解析策略 原始事件 标准化事件 可检索数据 告警与结论

从图中可以看到,平台的关键不只是"存",而是采集阶段的字段归一化与分析阶段的跨源关联。如果采集时没有把 Windows 登录事件里的账号字段映射到 user.name,那么检测规则就无法与 Linux 的 user.name 做统一关联,时间线也会断裂。这也是本课程后续会重点展开 ECS 映射、索引生命周期(ILM)、检测规则编写与调优的原因。

一个可参考的入门参数示例

为了建立数量级概念,下面给出一个示例性的入门部署参数(非实测结果,仅用于说明规划思路):

项目示例取值说明
日均事件量约 2 亿条含终端、网络、认证、云审计
单条平均大小约 1.2 KBJSON 序列化后
热数据保留7 天SSD,支持高频检索
温数据保留30 天可接受稍高查询延迟
冷/归档保留180 天满足合规审计
主分片数按每日索引 6~10 个单分片建议 30~50 GB

这些数字会直接影响集群规模、ILM 策略和查询性能。课程后续会结合具体场景,讲解如何根据事件量估算分片、如何设置 rollover 条件、如何用 _cat/indices 与 _nodes/stats 观察写入与检索压力。

不要把 Elastic 安全平台当成"装完就能防攻击"的产品。它的价值取决于三件事:数据是否采全、字段是否规范、检测规则是否贴合自身环境。缺任何一项,告警质量都会显著下降。

本节建立了平台的整体定位:它是安全数据的统一底座与分析工作台,向上承接 SIEM 的检测与响应能力,向下依赖规范的采集与字段模型。接下来我们将从数据采集与 ECS 字段规范开始,逐步深入到检索、检测、告警与响应,最终形成一条可落地、可复现的安全分析链路。