1. 日志系统概述

日志这东西，说白了就是系统留下的“黑匣子”。我个人理解，凡是运行着的软件、服务、硬件，它们产生的一切带有时间戳的文本记录，都能叫日志。你想想看，没有日志的时候，线上出了故障，你连从哪查起都不知道。

我在项目中遇到过好几次这样的场景：半夜三更被电话叫醒，说服务挂了，赶紧上去看。第一件事就是翻日志。要是日志不全、格式混乱，别说异常检测了，连定位问题都像大海捞针。

1.1 日志的定义与作用

日志的定义其实很简单——系统、应用或设备在运行过程中产生的、带有时间戳的文本化事件记录。它像一个流水账，记下了“谁、在什么时候、做了什么事、结果怎么样”。

那日志到底有什么用？我习惯把它的作用归纳为四个词：监控、排查、审计、分析。

• 监控：实时关注系统健康状态。比如CPU飙高、内存吃紧，日志里都会留下痕迹。
• 排查：出了故障，先看日志。大多数时候，异常堆栈就能告诉你哪里崩了。
• 审计：谁在什么时候登录过系统？做过什么敏感操作？安全日志就是铁证。
• 分析：这是咱们这门课的核心——从海量日志里挖出异常行为，提前预警。

1.2 常见日志类型

日志虽然五花八门，但按来源分，常见的就三类：系统日志、应用日志、安全日志。

日志类型	产生源	典型内容	示例
系统日志	操作系统、内核、系统服务	内核事件、设备驱动、服务启停	Linux /var/log/syslog, Windows Event Log
应用日志	业务应用、中间件	请求处理、业务错误、调试信息	Web服务器 access log, Java 应用 log4j 输出
安全日志	防火墙、IDS/IPS、认证系统	登录失败、权限越界、攻击告警	/var/log/auth.log, 防火墙规则命中记录

举个例子。我曾经帮一家金融公司做日志梳理，发现他们的安全日志居然和应用日志混在一起存。结果审计的时候，连“谁在凌晨三点登录了数据库”都查不出来。嗯，分类真的很重要。

1.3 日志管理平台 ELK 简介

日志越来越多，单台机器翻文件显然不现实。于是就有了ELK——一套“日志收集→存储→搜索→可视化”的标准方案。

ELK 是三个开源工具的缩写：

• E – Elasticsearch：一个分布式搜索和分析引擎。说白了，它负责存日志，并且让你能秒级搜索。
• L – Logstash：一个数据采集处理管道。它可以从各种源头收日志，解析、过滤、转换后扔给Elasticsearch。
• K – Kibana：一个可视化仪表盘。把Elasticsearch里的数据画成图表、仪表盘，甚至做简单告警。

实际项目中，还会加个轻量级的采集器 Filebeat，专门取代Logstash的收集端，降低资源消耗。不过核心还是ELK三件套。

下面这张图，是我梳理的日志系统核心知识结构。你可以先扫一眼，有个整体印象。

1.4 为什么异常检测离不开日志系统

我刚开始做机器学习时，总觉得只要调个模型就能搞定一切。后来发现，数据质量才是真正的瓶颈。而日志系统就是异常检测的数据基石。你想想看，如果没有规范化的日志收集和存储，模型连训练数据都凑不齐，更别提上线了。

举个例子。我曾经接手一个旧系统，日志散落在十多台服务器上，格式五花八门，有的用逗号分隔，有的用竖线，还有的直接堆JSON。为了做异常检测，光数据清洗就花了三周。嗯，后来我们统一了日志格式，并接入了ELK，再跑模型，效率翻了好几倍。