1. 日志分析基础

1.1 日志的定义

日志（Log）是系统、应用程序或设备在运行过程中按时间顺序记录的、带有时间戳的离散事件集合。每一条日志记录通常包含事件发生的时间、来源、级别以及描述信息，是系统运行状态的“黑匣子”。

1.2 日志的重要性

在 SRE 和运维工作中，日志承担着不可替代的角色，其重要性体现在以下四个维度：

1.3 日志的级别（Level）

日志级别用于标识事件的严重程度和紧急程度，帮助运维人员快速过滤和聚焦关键信息。绝大多数日志框架（如 Log4j、Python logging、rsyslog）都遵循以下五级标准：

1.4 日志级别选择原则

在实际开发与运维中，日志级别的选择应遵循以下原则：

• DEBUG：仅在开发和测试环境开启，生产环境默认关闭，避免磁盘 I/O 和存储压力。
• INFO：记录关键业务节点和系统状态变更，如服务启动、配置加载、定时任务执行。
• WARN：记录非预期的但可自动恢复的情况，如重试、降级、限流触发。
• ERROR：记录业务或系统层面的失败，需要人工介入排查，如数据库连接失败、第三方接口异常。
• FATAL：记录导致进程或服务无法继续运行的灾难性错误，如内存溢出、关键依赖不可用。

1.5 日志级别过滤与告警策略

在日志收集与告警系统中，通常按级别设置不同的处理策略：

1.6 日志级别关系图

下图展示了日志级别从低到高的递进关系，以及各级别对应的典型事件和响应方式：

1.7 日志级别配置示例

以下是一个 Python 日志配置示例，展示了如何按级别设置不同的处理器和格式：

import logging

# 创建日志器
logger = logging.getLogger('sre_course')
logger.setLevel(logging.DEBUG)

# 控制台处理器：输出 INFO 及以上级别
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.INFO)
console_format = logging.Formatter('%(asctime)s [%(levelname)s] %(message)s')
console_handler.setFormatter(console_format)

# 文件处理器：输出 DEBUG 及以上级别，用于详细排查
file_handler = logging.FileHandler('app.log')
file_handler.setLevel(logging.DEBUG)
file_format = logging.Formatter('%(asctime)s [%(levelname)s] %(name)s - %(message)s')
file_handler.setFormatter(file_format)

# 错误文件处理器：只记录 ERROR 和 FATAL
error_handler = logging.FileHandler('error.log')
error_handler.setLevel(logging.ERROR)
error_format = logging.Formatter('%(asctime)s [%(levelname)s] %(name)s:%(lineno)d - %(message)s')
error_handler.setFormatter(error_format)

# 添加处理器
logger.addHandler(console_handler)
logger.addHandler(file_handler)
logger.addHandler(error_handler)

# 使用示例
logger.debug('数据库查询 SQL: SELECT * FROM users')
logger.info('用户登录成功: user_id=12345')
logger.warning('磁盘使用率已达 85%')
logger.error('数据库连接超时，重试第 3 次')
logger.fatal('内存溢出，进程即将退出')

1.8 日志级别与故障定位的关联

在故障定位过程中，日志级别直接决定了排查效率：

• 快速过滤：先查看 ERROR 和 FATAL 日志，确定故障范围和影响面。
• 上下文回溯：根据 ERROR 时间点，向前查看 WARN 和 INFO 日志，寻找前置异常信号。
• 根因分析：在 DEBUG 日志中定位具体的代码路径、参数值和异常堆栈。
• 趋势判断：通过 WARN 日志的频率变化，预判系统是否正在恶化。