2. 市场监控基础

在进入误报降噪与规则优化之前,必须先建立对市场监控系统的整体认知。很多团队一上来就调阈值、改规则,结果越调越乱,根本原因是没有厘清“监控什么、数据从哪来、用什么方式监控、误报和漏报如何界定”。本节把这四个基础问题讲透,为后续的规则优化打下共同语言。

一、监控对象:市场监控到底在盯什么

市场监控的对象不是抽象的“市场”,而是可被数据刻画、可被规则判断的具体实体与行为。按业务视角,通常分为四类:

  • 交易主体:账户、客户、席位、做市商、机构编码等,关注其行为是否异常。
  • 交易标的:股票、债券、期货合约、基金、衍生品等,关注价格、成交量、持仓的异常波动。
  • 交易行为:申报、撤单、成交、对倒、频繁报撤、尾盘拉抬等,是规则命中率最高的对象。
  • 市场状态:涨跌幅、换手率、波动率、流动性、板块联动等宏观指标。

监控对象决定了数据来源和规则设计。对象选错,后面所有优化都是徒劳。实践中建议用“主体—标的—行为—状态”四维矩阵来盘点监控覆盖面,避免遗漏或重复。

二、数据来源:监控系统的输入从哪来

市场监控的数据来源直接决定监控的实时性、准确性和可扩展性。常见来源包括:

数据来源 典型内容 时效性 主要用途
交易所行情 逐笔委托、逐笔成交、快照 毫秒级 实时行为监控
交易系统日志 报单、撤单、成交回报 秒级 账户行为还原
账户与客户资料 开户信息、关联关系 日级 主体识别与关联分析
资讯与公告 新闻、财报、监管公告 分钟级 事件驱动监控
参考数据 证券代码、板块、指数成分 日级 标的分类与聚合

数据接入时要注意三点:一是时间戳对齐,不同来源的时钟偏差会直接制造误报;二是字段完整性,缺失字段会让规则无法判断;三是数据质量校验,脏数据进入监控链路后会被规则放大成大量噪声。

建议在数据接入层设置“数据质量门禁”:对关键字段做非空、范围、频率校验,不合格数据直接隔离并告警,而不是流入规则引擎。

三、常见监控类型:规则以什么方式工作

市场监控类型可按判断逻辑分为以下几类,它们对应不同的误报特征:

  1. 阈值型:如涨跌幅超过X%、单账户撤单率超过Y%。逻辑简单、易实现,但阈值固定时误报率高。
  2. 统计型:基于均值、标准差、分位数判断偏离,如成交量Z-score超过3。对分布变化敏感。
  3. 模式型:识别特定行为序列,如“频繁报撤—拉抬—反向成交”。准确率高但规则复杂。
  4. 关联型:跨账户、跨标的关联分析,如多账户同向同步交易。依赖主体识别质量。
  5. 事件型:结合公告、新闻等外部事件触发监控。时效性强,但事件解析易出错。

不同类型的监控,其误报来源不同:阈值型多因市场状态切换,统计型多因样本分布漂移,模式型多因参数过严,关联型多因主体识别错误,事件型多因事件误判。理解这一点,才能在降噪时对症下药。

四、误报与漏报:一对必须同时管理的指标

误报(False Positive)指系统判定为异常、实际为正常的行为;漏报(False Negative)指实际异常、系统未命中。二者是一对矛盾:放宽规则降低误报,往往抬高漏报;收紧规则降低漏报,往往抬高误报。

监控优化的目标不是“消灭误报”,而是在可接受的漏报水平下,把误报压到运营可处理的范围内。脱离漏报谈降噪,是危险的。

衡量监控效果常用四个指标:命中率(Precision)、召回率(Recall)、误报率、漏报率。实践中建议用混淆矩阵统一口径:

                实际异常      实际正常
系统告警        真阳性TP      假阳性FP(误报)
系统不告警      假阴性FN(漏报) 真阴性TN

命中率 Precision = TP / (TP + FP)
召回率 Recall    = TP / (TP + FN)
误报率 FPR       = FP / (FP + TN)
漏报率 FNR       = FN / (TP + FN)

下面这张图展示了市场监控从数据源到规则判断、再到误报与漏报分流的整体结构,帮助建立全局视角。

市场监控数据流与误报/漏报分流 交易所行情 逐笔委托/成交 交易系统日志 报单/撤单/回报 账户与客户资料 主体/关联关系 资讯与参考数据 公告/板块/指数 数据质量门禁 非空/范围/频率校验 规则引擎 阈值型 · 统计型 · 模式型 · 关联型 · 事件型 系统告警 真阳性 TP(有效命中) 假阳性 FP(误报) 系统不告警 真阴性 TN(正常放行) 假阴性 FN(漏报)

五、案例与复盘:一次典型的误报风暴

某券商市场监控系统在开盘后10分钟内触发超过2000条告警,运营团队无法处理。复盘发现:

  • 数据源:行情快照延迟约800毫秒,与交易日志时间戳未对齐,导致“撤单后仍成交”的假象。
  • 规则:撤单率阈值设为固定值60%,未考虑开盘集合竞价阶段的正常高撤单行为。
  • 对象:未区分做市商账户与普通账户,做市商高频报撤被大量误判。

优化动作:对齐时间戳、按交易阶段动态调整阈值、对做市商账户单独建模。误报量下降约85%,同时通过补充模式型规则,漏报未上升。这个案例说明:误报治理必须回到监控对象、数据来源和监控类型三个基础层面,而不是只调一个阈值。

常见误区:把误报率下降当作唯一成功指标。如果降噪过程中没有同步监控漏报率,可能把真实异常一起“优化”掉了,这在合规场景中风险极高。

本节的核心结论可以归纳为:监控对象决定数据需求,数据来源决定监控质量,监控类型决定误报特征,误报与漏报必须成对管理。掌握这四个基础概念,后续的规则优化才有稳定的坐标系。