4. 去重核心概念

在反洗钱监测系统中，告警去重不是简单的“删掉重复记录”，而是一项直接影响调查效率与风险覆盖面的关键决策。理解重复告警的定义、区分完全重复与近似重复、厘清误报与冗余告警的差异，并在去重与漏报之间找到平衡，是构建高质量告警流水线的前提。

一、重复告警的定义与判定边界

重复告警，通常指在同一监测周期内，针对同一客户、同一交易对手、同一账户或同一交易链路，因规则重复触发、数据多次加载或阈值交叉而产生的多条实质等价的告警记录。判定“重复”需要同时考虑三个维度：主体维度（客户号、账户号、证件号）、行为维度（交易时间、金额、方向、渠道）和规则维度（规则编号、规则版本、触发条件）。

例如，同一客户在同一天内因“单笔大额交易”和“日累计大额交易”两条规则分别触发告警，若两条告警指向的是同一笔或同一组交易，则属于重复告警；若两条规则分别指向不同交易，则不应简单合并。因此，重复告警的判定必须建立在可解释的匹配键之上，而不是仅凭客户号或规则名做粗粒度归并。

二、完全重复与近似重复

完全重复（Exact Duplicate）指两条或多条告警在所有关键字段上完全一致，通常由数据重复加载、规则重复执行或调度重跑导致。这类告警的识别成本低，可通过哈希指纹直接判定。

-- 完全重复判定示例：基于关键字段生成指纹
SELECT
  customer_id,
  rule_id,
  transaction_date,
  amount,
  counterparty_id,
  COUNT(*) AS dup_count
FROM aml_alerts
GROUP BY customer_id, rule_id, transaction_date, amount, counterparty_id
HAVING COUNT(*) > 1;

近似重复（Near Duplicate）则更为常见，也更复杂。两条告警在主体、行为或规则上高度相似，但并非完全一致。例如：同一客户在连续两天内因同一规则触发告警，金额相差不足5%；或同一交易链路中，上游规则与下游规则分别触发告警，指向同一可疑行为。近似重复的识别需要引入相似度度量，如编辑距离、Jaccard相似度、时间窗口聚合或金额比例阈值。

类型	判定依据	典型成因	处理策略
完全重复	关键字段完全一致	数据重跑、调度重复	直接合并，保留最早告警
近似重复	主体相同、行为相似、规则相关	规则交叉、时间窗口重叠	聚类合并，保留代表性告警
误报	规则触发但无实质可疑	阈值过松、数据噪声	降级或关闭，需人工确认
冗余告警	信息重复但非完全一致	多规则覆盖同一风险	去重后保留最高优先级

三、误报与冗余告警：不要混为一谈

误报（False Positive）是指规则触发后，经分析确认该客户或交易并不存在实质洗钱风险。误报的核心问题是规则精度不足，而非重复。冗余告警（Redundant Alert）则是指多条告警在信息内容上高度重叠，但每一条单独看可能都是“正确触发”的。冗余告警的核心问题是信息效率低下，而非规则错误。

区分二者至关重要：对误报，应优化规则阈值、增加白名单或调整模型权重；对冗余告警，应通过去重与合并减少调查人员的重复劳动。若将冗余告警误判为误报而直接关闭，可能掩盖真实风险；若将误报强行合并，则可能放大噪声，降低整体告警质量。

四、去重与漏报的权衡

去重的直接收益是减少告警数量、降低调查负荷，但过度去重可能导致漏报（False Negative）。漏报的代价远高于误报：误报只是浪费人力，漏报则可能放过真实洗钱行为，带来合规处罚与声誉风险。因此，去重策略必须遵循“宁可保留，不可错杀”的保守原则。

权衡的关键在于设置合理的合并粒度与保留策略。常见做法包括：

• 时间窗口控制：仅合并同一时间窗口内的告警，避免跨周期合并导致行为链断裂。
• 规则优先级保留：合并时保留优先级最高或风险评分最高的告警，确保关键信息不丢失。
• 人工复核通道：对高风险客户或高风险规则的合并结果，强制进入人工复核队列。
• 可回溯审计：所有被合并的告警保留原始记录与合并日志，支持事后追溯。

# 去重合并策略配置示例
dedup:
  window: 24h
  match_keys:
    - customer_id
    - rule_id
    - counterparty_id
  similarity:
    amount_ratio: 0.05
    time_gap_minutes: 120
  keep:
    strategy: highest_risk_score
    fallback: earliest_alert
  audit:
    retain_original: true
    merge_log: true

五、案例复盘：一次过度去重引发的漏报

某机构为降低告警量，将同一客户7天内所有“大额交易”告警合并为一条。上线后告警量下降约60%，但三个月后监管检查发现，某客户在7天内分多笔、多日、多账户进行结构化交易，每笔金额均略低于单笔大额阈值，但日累计和周累计均触发规则。由于去重策略仅保留最早一条告警，后续交易行为被完全掩盖，导致漏报。

复盘结论：去重不能仅按客户维度做粗粒度合并，必须结合行为模式和时间序列。对于结构化交易、拆分交易等典型洗钱手法，去重策略应保留行为链的完整性，而非简单压缩为一条记录。

正确的做法是：在去重前先进行实体聚合与行为序列分析，识别出“同一客户、同一模式、连续多笔”的告警簇，再决定是合并为一条“聚合告警”还是保留多条“序列告警”。聚合告警应包含交易笔数、时间跨度、金额分布等摘要信息，确保调查人员能够看到完整行为轮廓。