2. 系统架构总览：端到端实时检测系统的分层架构设计

实时异常交易检测系统需要处理高吞吐、低延迟的金融数据流，其架构设计必须兼顾数据完整性、特征时效性、模型推理效率与业务决策的准确性。本章将系统拆解为四个核心层次：数据采集层、特征工程层、模型推理层与决策与告警层，并阐述各层的职责、技术选型与交互流程。

2.1 分层架构总览

下图展示了实时异常检测系统的完整数据流与分层结构。从原始交易事件进入系统到最终输出告警决策，数据依次经过四个处理阶段，每个阶段都承担明确的职责。

2.2 数据采集层

数据采集层是系统的入口，负责从多个异构数据源实时捕获交易事件，并完成初步的格式标准化与质量校验。

2.3 特征工程层

特征工程层是实时检测系统的核心计算节点。它从原始交易事件中提取具有判别力的特征，包括用户行为画像、交易上下文统计以及时序变化模式。

• 滑动窗口聚合：基于Flink的滑动窗口（窗口长度5min/30min/1h，滑动步长1min），实时计算用户、设备、商户维度的交易频次、金额总和、标准差等统计量。
• 时序特征：使用时间衰减模型（如EWMA）计算近期交易速率变化，捕捉突发性异常。
• 特征存储：将计算好的特征写入Redis集群（Key-Value结构，TTL=24h），供模型推理层低延迟读取。
• 特征回溯：对于新用户或冷启动场景，从HBase/ClickHouse中加载历史特征作为补充。

2.4 模型推理层

模型推理层负责加载预训练的异常检测模型，对特征向量进行实时推理，输出异常概率分数。该层需要平衡模型复杂度与推理延迟。

2.5 决策与告警层

决策与告警层是系统的最终输出节点。它接收模型推理分数，结合业务规则进行综合判定，并触发相应的告警动作。

• 阈值判定：根据模型输出的异常分数（0~1），设定动态阈值（如0.85）。阈值可根据用户历史行为自适应调整。
• 规则引擎：集成Drools规则引擎，处理复杂业务逻辑，例如：同一设备1小时内触发3次以上高风险交易则直接拦截。
• 告警分级：
  • L1（低风险）：记录日志，标记交易为“需人工复核”。
  • L2（中风险）：发送钉钉/企微机器人消息给风控值班人员。
  • L3（高风险）：直接拦截交易，并触发短信/电话告警给安全负责人。
• 反馈闭环：将人工复核结果（误报/漏报）回流至特征工程层和模型训练管道，用于持续优化。

2.6 层间交互与数据流

各层之间通过异步消息队列（Kafka）进行解耦通信，确保系统的高可用与弹性伸缩。下表总结了层间传递的数据格式与关键字段。