4. 看板架构设计：数据采集层、计算层、展示层、告警引擎的四层架构
催收触达异常定位看板的核心在于将海量、异构的催收数据转化为可决策的洞察。为实现高吞吐、低延迟与可扩展性，我们采用经典的四层架构设计：数据采集层、计算层、展示层与告警引擎。每一层职责清晰，通过标准接口解耦，确保系统在数据量激增时仍能稳定运行。
架构设计原则： 采集层负责“接得住”，计算层负责“算得快”，展示层负责“看得清”，告警引擎负责“叫得准”。四层之间通过消息队列（如 Kafka）和 API 网关进行异步通信，避免单点阻塞。
4.1 四层架构总览
下图展示了催收触达异常定位看板的完整架构。数据从左侧的催收系统、CTI 平台、短信网关等源头流入，经过四层处理后，最终在右侧的看板与告警通道输出。
4.2 各层职责与关键技术选型
下表详细列出了每一层的核心职责、输入输出以及推荐的技术组件，帮助你在实际项目中快速落地。
| 架构层 | 核心职责 | 输入数据 | 输出数据 | 推荐技术 |
|---|---|---|---|---|
| 数据采集层 | 多源异构数据接入、协议解析、数据清洗、格式统一、流量削峰 | 催收系统 API、CTI 话单、短信/邮件回执、操作日志 | 统一格式的 JSON/KV 消息流 | Kafka、Flume、Logstash、Filebeat |
| 计算层 | 实时指标计算、离线批量聚合、异常检测算法、维度关联、数据建模 | 采集层清洗后的消息流 | 聚合指标、异常评分、维度宽表 | Flink、Spark Streaming、ClickHouse、Doris |
| 展示层 | 可视化看板渲染、交互式下钻、趋势分析、自助查询、权限控制 | 计算层产出的指标与宽表 | 图表、表格、仪表盘、导出文件 | Grafana、Superset、ECharts、Vue |
| 告警引擎 | 规则匹配、阈值检测、告警分级、降噪聚合、多渠道推送、告警闭环 | 计算层产出的实时指标与异常评分 | 告警事件、通知消息、工单 | Prometheus + Alertmanager、自研规则引擎 |
4.3 数据采集层详解
数据采集层是整个架构的“入口”，其稳定性直接决定上层数据的质量。在催收场景中，我们需要采集以下几类核心数据：
- 催收系统操作日志： 坐席外呼动作、案件分配、催收结果码、通话时长。
- CTI 平台话单： 呼叫时间、接通状态、振铃时长、挂断原因、IVR 按键轨迹。
- 短信/邮件网关回执： 发送状态（成功/失败/退信）、送达时间、点击链接记录。
- 系统性能指标： 接口响应时间、并发数、错误率、队列积压量。
采集层避坑指南：
- 所有采集 Agent 必须支持 断点续传 和 至少一次语义，防止数据丢失。
- 对敏感字段（如手机号、身份证）在采集层即完成 脱敏或哈希，避免隐私数据进入后续链路。
- Kafka 主题分区数应根据数据量预估，建议按 催收机构 ID 或 案件类型 进行分区，保证同一维度数据有序。
4.4 计算层详解
计算层是看板的“大脑”，负责将原始数据转化为有意义的指标。我们采用 Lambda 架构，同时运行实时流与离线批处理两条链路：
计算层产出的核心指标包括但不限于：
- 触达率： 成功接通/送达次数 ÷ 总外呼/发送次数（按渠道、时段、机构维度聚合）。
- 异常占比： 振铃超时、空号、拒接、退信等异常结果占总触达量的比例。
- 响应延迟： 从发起触达到收到回执的平均耗时（P50/P95/P99）。
- 异常评分： 基于历史基线，通过 3σ 或移动平均法计算当前指标的偏离程度。
4.5 展示层与告警引擎的协同
展示层与告警引擎虽然职责不同，但在异常定位场景中需要紧密协同：
- 展示层 负责将计算层产出的指标以图表、表格、热力图等形式呈现，支持按时间、机构、渠道、坐席等多维度下钻分析。
- 告警引擎 实时消费计算层产出的异常评分流，当评分超过预设阈值时，触发告警事件，并通过钉钉、邮件、短信等渠道通知责任人。
- 协同机制： 告警事件同时回写至展示层的数据源，在看板上以“告警标记”形式高亮显示异常时段，方便运维人员快速定位根因。
注意： 告警引擎必须内置 告警降噪 和 聚合规则，避免因指标抖动导致告警风暴。例如：同一机构在 5 分钟内连续触发相同告警，应合并为一条告警，并附带持续时长和触发次数。
4.6 架构落地检查清单
在实施四层架构时，建议对照以下清单进行验收：
| 检查项 | 验收标准 | 优先级 |
|---|---|---|
| 数据采集层高可用 | Kafka 集群至少 3 节点，支持副本机制，单节点故障不影响数据接入 | P0 |
| 计算层实时性 | 实时链路端到端延迟 < 30 秒（从数据产生到看板可见） | P0 |
| 展示层交互响应 | 看板页面加载 < 3 秒，下钻查询 < 5 秒 | P1 |
| 告警引擎准确性 | 告警准确率 > 95%，误报率 < 5% | P0 |
| 数据一致性 | 实时指标与离线 T+1 指标偏差 < 1% | P1 |