2. 市场监控基础
在进入误报降噪与规则优化之前,必须先建立对市场监控系统的整体认知。很多团队一上来就调阈值、改规则,结果越调越乱,根本原因是没有厘清“监控什么、数据从哪来、用什么方式监控、误报和漏报如何界定”。本节把这四个基础问题讲透,为后续的规则优化打下共同语言。
一、监控对象:市场监控到底在盯什么
市场监控的对象不是抽象的“市场”,而是可被数据刻画、可被规则判断的具体实体与行为。按业务视角,通常分为四类:
- 交易主体:账户、客户、席位、做市商、机构编码等,关注其行为是否异常。
- 交易标的:股票、债券、期货合约、基金、衍生品等,关注价格、成交量、持仓的异常波动。
- 交易行为:申报、撤单、成交、对倒、频繁报撤、尾盘拉抬等,是规则命中率最高的对象。
- 市场状态:涨跌幅、换手率、波动率、流动性、板块联动等宏观指标。
监控对象决定了数据来源和规则设计。对象选错,后面所有优化都是徒劳。实践中建议用“主体—标的—行为—状态”四维矩阵来盘点监控覆盖面,避免遗漏或重复。
二、数据来源:监控系统的输入从哪来
市场监控的数据来源直接决定监控的实时性、准确性和可扩展性。常见来源包括:
| 数据来源 | 典型内容 | 时效性 | 主要用途 |
|---|---|---|---|
| 交易所行情 | 逐笔委托、逐笔成交、快照 | 毫秒级 | 实时行为监控 |
| 交易系统日志 | 报单、撤单、成交回报 | 秒级 | 账户行为还原 |
| 账户与客户资料 | 开户信息、关联关系 | 日级 | 主体识别与关联分析 |
| 资讯与公告 | 新闻、财报、监管公告 | 分钟级 | 事件驱动监控 |
| 参考数据 | 证券代码、板块、指数成分 | 日级 | 标的分类与聚合 |
数据接入时要注意三点:一是时间戳对齐,不同来源的时钟偏差会直接制造误报;二是字段完整性,缺失字段会让规则无法判断;三是数据质量校验,脏数据进入监控链路后会被规则放大成大量噪声。
三、常见监控类型:规则以什么方式工作
市场监控类型可按判断逻辑分为以下几类,它们对应不同的误报特征:
- 阈值型:如涨跌幅超过X%、单账户撤单率超过Y%。逻辑简单、易实现,但阈值固定时误报率高。
- 统计型:基于均值、标准差、分位数判断偏离,如成交量Z-score超过3。对分布变化敏感。
- 模式型:识别特定行为序列,如“频繁报撤—拉抬—反向成交”。准确率高但规则复杂。
- 关联型:跨账户、跨标的关联分析,如多账户同向同步交易。依赖主体识别质量。
- 事件型:结合公告、新闻等外部事件触发监控。时效性强,但事件解析易出错。
不同类型的监控,其误报来源不同:阈值型多因市场状态切换,统计型多因样本分布漂移,模式型多因参数过严,关联型多因主体识别错误,事件型多因事件误判。理解这一点,才能在降噪时对症下药。
四、误报与漏报:一对必须同时管理的指标
误报(False Positive)指系统判定为异常、实际为正常的行为;漏报(False Negative)指实际异常、系统未命中。二者是一对矛盾:放宽规则降低误报,往往抬高漏报;收紧规则降低漏报,往往抬高误报。
衡量监控效果常用四个指标:命中率(Precision)、召回率(Recall)、误报率、漏报率。实践中建议用混淆矩阵统一口径:
实际异常 实际正常
系统告警 真阳性TP 假阳性FP(误报)
系统不告警 假阴性FN(漏报) 真阴性TN
命中率 Precision = TP / (TP + FP)
召回率 Recall = TP / (TP + FN)
误报率 FPR = FP / (FP + TN)
漏报率 FNR = FN / (TP + FN)
下面这张图展示了市场监控从数据源到规则判断、再到误报与漏报分流的整体结构,帮助建立全局视角。
五、案例与复盘:一次典型的误报风暴
某券商市场监控系统在开盘后10分钟内触发超过2000条告警,运营团队无法处理。复盘发现:
- 数据源:行情快照延迟约800毫秒,与交易日志时间戳未对齐,导致“撤单后仍成交”的假象。
- 规则:撤单率阈值设为固定值60%,未考虑开盘集合竞价阶段的正常高撤单行为。
- 对象:未区分做市商账户与普通账户,做市商高频报撤被大量误判。
优化动作:对齐时间戳、按交易阶段动态调整阈值、对做市商账户单独建模。误报量下降约85%,同时通过补充模式型规则,漏报未上升。这个案例说明:误报治理必须回到监控对象、数据来源和监控类型三个基础层面,而不是只调一个阈值。
本节的核心结论可以归纳为:监控对象决定数据需求,数据来源决定监控质量,监控类型决定误报特征,误报与漏报必须成对管理。掌握这四个基础概念,后续的规则优化才有稳定的坐标系。