4. 数据聚合核心概念

在压力场景下做风险数据聚合演练，最先暴露的问题往往不是工具性能，而是概念混用。很多团队把“把数据放到一起”统称为聚合，结果在演练复盘时发现：该合并的没合并、该保留的却被覆盖、同一风险被重复计数、时间口径不一致导致趋势判断完全失真。因此，本章先把六个高频术语拆开讲清楚，再说明它们在一条处理链上的位置与协作关系。

一、核心原理：六个术语各自解决什么问题

可以把风险数据聚合理解为一条“从多源原始数据到可用风险视图”的加工链。链上的每个术语，回答的是不同的问题：

• 聚合（Aggregation）：回答“一共有多少”。把多条记录按维度汇总成统计值，如按资产、按区域、按风险等级求数量、均值、最大值。聚合通常改变数据粒度，但不改变单条记录的含义。
• 融合（Fusion）：回答“综合来看是什么结论”。把来自不同源、不同模态的信息合成一个更完整的判断，例如把漏洞扫描、流量告警、资产台账融合成一条“该主机存在高危暴露”的风险结论。融合会产生新的语义，而不仅是数值相加。
• 关联（Correlation）：回答“它们是不是同一件事”。通过共同键（IP、资产ID、时间窗、事件指纹）把分散记录连接起来，建立关系，但不一定合并。关联是融合与去重的前置动作。
• 去重（Deduplication）：回答“重复了几次”。识别并消除指向同一实体或同一事实的重复记录，避免风险被重复计数。去重关注“同一性”，需要定义判定键与相似度阈值。
• 对齐（Alignment）：回答“口径是否一致”。把不同来源的时间、粒度、坐标系、枚举值调整到同一参照系，例如统一到UTC分钟级、统一资产命名、统一风险等级字典。对齐是可比性的前提。
• 标准化（Standardization）：回答“格式是否统一”。把字段名、数据类型、单位、编码、枚举映射到统一规范，如把“高危/High/3”统一为“HIGH”。标准化让后续关联与聚合可自动化执行。

二、方法流程：六者在处理链上的协作顺序

在演练中，推荐按“先标准化、再对齐、后关联、去重、聚合、融合”的顺序组织流水线。顺序颠倒会带来返工：未标准化就关联，键值对不上；未对齐就聚合，口径混杂；未去重就融合，结论被重复数据放大。

原始多源数据
  → 标准化（字段/类型/单位/枚举）
  → 对齐（时间窗/粒度/资产命名/坐标系）
  → 关联（共同键连接，建立关系图）
  → 去重（判定键 + 相似度阈值）
  → 聚合（按维度汇总统计）
  → 融合（多源证据合成风险结论）
  → 风险视图 / 演练指标

需要强调的是，这条链不是严格单向的。融合阶段若发现证据冲突，可能需要回到对齐阶段修正时间窗；聚合结果异常时，也可能回溯去重规则。演练的价值之一，就是把这些回环暴露出来并固化规则。

三、案例场景：一次演练中的概念落地

假设某次压力演练中，三个来源同时上报风险：漏洞扫描系统、主机EDR、边界流量探针。原始数据如下：

处理时，先用资产ID把三条记录关联起来，发现它们指向同一台主机；再用事件指纹与时间窗去重，避免同一扫描行为被计为三次；随后按资产维度聚合，得到“该资产高危风险数=1”；最后融合漏洞、EDR、流量三类证据，输出“该主机存在高危暴露且已被扫描探测”的结论。若跳过对齐，时间戳与字符串时间无法比较，关联就会失败。

四、误区与复盘：最容易踩的四个坑

1. 把聚合当融合。只做了数量汇总，却对外宣称“综合风险结论”，导致决策层看到的是计数而非判断。复盘时要检查输出物是否包含多源证据链。
2. 去重规则过粗。仅按IP去重，会把同一IP上不同时间、不同风险类型的记录误删。应使用“实体键+时间窗+事件类型”的组合判定。
3. 对齐只做时间不做语义。时间对齐了，但“高危”在不同系统里含义不同，聚合结果仍不可比。必须同步对齐枚举字典与阈值定义。
4. 标准化过度。为了统一而丢失原始精度，如把秒级时间截断到小时，导致压力场景下的时序分析失效。标准化应保留原始字段，另存规范字段。