日志解析方法：正则表达式、JSON、Grok

日志解析，说白了就是把那些密密麻麻的文本“翻译”成我们能用的结构化数据。我个人觉得，这是异常检测的基础。你想想看，如果连日志都读不懂，那后面的分析都是空中楼阁。

我这些年用过的解析方法，总结下来就三种：正则表达式、JSON解析和Grok模式。它们各有各的脾气，也各有各的绝活。咱们一个一个来看。

正则表达式：日志解析的“瑞士军刀”

正则表达式，兄弟们都不陌生吧？它就是用来匹配文本的“模式”。我习惯用它来处理那些“老古董”系统——比如SAP、WebSphere，或者某些祖传Java应用打出来的日志。这些日志格式五花八门，但通常有规律可循。

常用模式总结：

目标字段	示例日志片段	正则模式
IP地址	192.168.1.1	\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}
时间戳	2024-01-15 14:23:45	\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}
用户ID	userId=abc123	userId=(\w+)
错误码	[ERROR] DB_CONN_FAILED	\[ERROR\] (\w+)

实战示例：用正则解析一条典型的Java异常日志。

原始日志：
2024-01-15 14:23:45 [ERROR] com.example.service.UserService - userId=abc123， 操作失败: 数据库连接超时

目标字段：
- 时间戳：2024-01-15 14:23:45
- 级别：ERROR
- 类名：com.example.service.UserService
- 用户ID：abc123
- 错误消息：数据库连接超时

正则表达式：
^(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}) \[(\w+)\] ([\w.]+) - userId=(\w+)， 操作失败: (.+)$

JSON解析：结构化日志的首选

JSON解析就简单多了。说白了，就是反序列化。现在的新系统，特别是微服务架构，基本都打JSON日志。为什么？因为它自带结构，不需要你猜字段边界。

JSON解析的关键点：

• 用JSON.parse()或json.loads()直接转换
• 注意嵌套结构的扁平化
• 处理转义字符和特殊Unicode

实战示例：解析一条典型的JSON日志。

原始日志：
{"timestamp": "2024-01-15T14:23:45.123Z"， "level": "ERROR"， "service": "user-service"， "user_id": "abc123"， "message": "数据库连接超时"， "duration_ms": 15000}

解析后字段：
- timestamp：2024-01-15T14:23:45.123Z
- level：ERROR
- service：user-service
- user_id：abc123
- message：数据库连接超时
- duration_ms：15000

JSON解析的速度通常比正则快，因为它是直接解析KV结构，不需要回溯匹配。我在项目中遇到过，用正则解析10万条JSON日志花了2秒，换成JSON解析后只要0.3秒。

Grok模式：日志解析的“捷径”

Grok是ELK栈里的利器。我第一次用Grok时，心里想：“这不就是带名字的正则嘛？”后来发现，它比正则爽太多了。

Grok基础：Grok本身是正则的封装，但它把常见模式都做成了“名字”。你直接调用就行。

基础语法：%{SYNTAX_NAME:field_name}

例子：
%{IP:client_ip}  →  匹配IP并赋值给 client_ip
%{TIMESTAMP_ISO8601:timestamp}  →  匹配时间并赋值给 timestamp
%{LOGLEVEL:level}  →  匹配日志级别并赋值给 level

实战示例：用Grok解析Apache访问日志。

Apache日志：
192.168.1.1 - - [15/Jan/2024:14:23:45 +0800] "GET /api/users HTTP/1.1" 200 1234

Grok模式：
%{IP:client_ip} - - \[%{HTTPDATE:timestamp}\] "%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:http_version}" %{NUMBER:status} %{NUMBER:bytes}

解析后字段：
- client_ip：192.168.1.1
- timestamp：15/Jan/2024:14:23:45 +0800
- method：GET
- request：/api/users
- http_version：1.1
- status：200
- bytes：1234

Grok注意事项：

1. Grok模式库很丰富，但也有些模式不准确，需要自己调
2. 复杂的嵌套日志建议拆成多个Grok模式或分步解析
3. 性能上Grok比手写正则略慢一点点，但可读性好太多

嗯，这里要注意一点。别想着用一种方法吃遍天。我记得有一次做统一日志平台，有20多种日志格式。如果全用正则写，估计得写好几天。后来我分了类：JSON日志走解析器，Apache/Nginx用Grok，老系统的自研格式才用正则。