日志数据分类：不同敏感级别日志标识与处理策略
日志这东西，看上去只是几个字段、几行文本，但放大了看——网络访问日志暴露你的IP，数据库查询日志暴露表结构，支付日志里躺着卡号明文。你要是随便存、随便给，等来的可能就是合规罚单或者数据泄露通报。
我个人习惯，一接手新系统，第一件事就是把日志按照敏感程度分层。说白了，就是给每类日志贴个「敏感级别」标签，然后分别制定待遇。今天我就把这么多年攒下来的分级方法、标识技巧、处理策略都理一遍。
1. 敏感级别怎么分？
我根据保密性和合规要求，把日志分成四个级别：公开、内部、敏感、高敏。每个级别对应不同的访问限制和存储要求。
| 级别 | 示例 | 典型字段 | 谁该看见 |
|---|---|---|---|
| 公开 | nginx的access.log（脱敏后） | 时间戳、脱敏后的URL、状态码 | 全员可看 |
| 内部 | 应用错误堆栈 | 类名、方法名、错误信息（无用户数据） | 开发团队、运维 |
| 敏感 | 用户行为日志 | 用户ID、操作类型、IP | 安全团队、业务分析（需审批） |
| 高敏 | 支付流水、账号密码重置日志 | 卡号、令牌、明文（如果有） | 极少数管理员 + 合规审计 |
你可能会问：「就凭这几个例子，怎么知道自己的日志属于哪一级？」我之前踩过一个坑：把记录了完整手机号的注册日志一律划成「敏感」，结果存储成本翻倍，查询性能也烂得一塌糊涂。后来我重新拉了一张更细的分类对照表，用正则或分类器自动打标签，省事多了。
2. 怎么给日志自动打标？
手动标？别傻了，日志量一上来人根本盯不住。我建议在日志采集阶段就用规则引擎或AI分类器，实现动态标识。
- 规则匹配法：写正则匹配身份证、手机号、密钥等敏感字段。比如：
(\d{15,18})命中一次就标「高敏」。 - 字段白名单法：只允许特定字段进入低敏类别。比如 job、city 这种自然可以公开。
- 上下文标记法：有时候字段本身不敏感，但上下文敏感。比如 query 参数中带了 userId=xxx，如果 userId 是真实身份证号，就升级。
核心逻辑：日志的敏感级别不是静态的，它取决于你保留了什么字段、保留多长时间、谁可能接触到。
举个例子，我之前在做一个互联网金融平台时，发现日志里偷偷写入了还款计划的全部条款，其中包括用户资产估值。这个字段本身只是数字，但结合用户ID和还款周期，就能反推出用户的经济状况。后来我们加了一条规则：任何涉及金融估值的字段，只要出现在日志中，自动标记为「高敏」并强制脱敏。
3. 处理策略：存、看、删、传
级别定好了，就得给每个级别配一套处理模板。我总结了一个四层策略矩阵，非常实用。
| 处理维度 | 公开 | 内部 | 敏感 | 高敏 |
|---|---|---|---|---|
| 存储加密 | 不加密 or 表级加密 | 表级AES-256 | 字段级加密 | 字段级加密 + HSM |
| 传输加密 | TLS 1.2 | TLS 1.2+ | TLS 1.3 + 证书锁定 | TLS 1.3 + mTLS |
| 访问策略 | 任何已验证身份 | 岗位+项目组 | 需审批+双人复核 | Break-glass+事后审计 |
| 保留周期 | 30天 | 90天 | 180天 | 按合规要求（如3年） |
| 脱敏要求 | 无需脱敏 | 建议脱敏部分字段 | 必须脱敏关键字段 | 除审计记录外全部掩码 |
一个小技巧：存储加密 ≠ 查询脱敏。我见过不少团队给数据库开了TDE（透明数据加密），却忘了在查询结果层面拦截字段。结果运维人员用DBeaver一把梭，所有高敏数据一览无余。你得在应用层、网关层、数据库层都做拦截，才叫真正安全。
4. 避坑指南：我曾经踩过的几个雷
- 全量日志一把梭：刚做SaaS时，为了省事把所有日志都存进同一个Elasticsearch索引，结果敏感数据被某租户的开发者跨租户查出来了。后来被迫拆索引+加field-level security。
- 高敏日志不压缩：合规要求保留3年，日增500GB，成本直接炸裂。后来改成按天压缩，且冷数据转存对象存储+生命周期策略。
- 以为日志里只有结构化字段：你永远不知道开发者在log.info里拼接了什么。我见到过有人把完整的JSON请求体打进去，里面包含了密码密文。所以一定要在写入前做正则扫描+自动脱敏。
5. 从分类到生命周期管理的完整视图
下面这张图，是我在实际项目中帮一个金融客户做的日志分类决策流程。你看完就能明白，日志从产生到销毁，每一步都在被敏感级别左右。
⚠️ 注意：很多人以为分完级就完事了，忽略了一个关键点——日志的敏感级别会随着时间变化。比如一个包含手机号的订单日志，在订单完成后7天，内部系统仍需要分析，此时它仍是敏感级；但30天后，如果已经脱敏，就可以降级到内部级。我建议设计「降级策略」，定期重新评估，既能合规又能节省成本。
6. 一句话总结
日志分类不是贴标签、做文档那么简单。它是一个贯穿采集、存储、访问、审计、销毁全生命周期的硬核工程。你把级别分清楚了，后续的访问控制策略才能落地——否则全是空话。
我个人经验，每个租户、每个业务线都可以自定义自己的分类矩阵，但必须遵循一个原则：敏感级别越高，控制粒度越细。别想着用一把尺子量所有日志，那样你迟早会出事。