2. 盘口数据采集与清洗环节的漏报排查

盘口异常识别系统里,最容易被忽视的漏报来源往往不在识别模型本身,而在它上游的数据采集与清洗链路。模型再灵敏,如果送进去的盘口快照本身就缺了卖盘档位、时间戳被错位对齐、或者买卖方向字段被映射反了,异常特征在进入判定逻辑之前就已经失真。本节围绕三类典型漏报成因展开:数据源缺失、时间戳错位、字段映射错误,并结合一个可复现的排查案例说明如何定位与修复。

一、三类漏报成因的链路位置

盘口数据从交易所行情网关到异常识别引擎,通常要经过采集、解析、清洗、对齐、特征计算几个环节。三类问题分别落在不同位置:数据源缺失发生在采集与解析之间,表现为某些档位、某些标的或某些时段的快照根本没有进入系统;时间戳错位发生在对齐环节,表现为快照与成交、委托流之间的时间关系被破坏;字段映射错误发生在解析与清洗之间,表现为字段语义被错误赋值。下图给出这三类问题在链路中的位置及其对异常识别的影响路径。

盘口数据链路中的三类漏报成因 行情网关 逐笔/快照推送 采集与解析 字段抽取 清洗与对齐 时间/语义校正 特征计算 盘口形态特征 异常识别引擎 判定与告警 数据源缺失 档位/标的/时段 未进入系统 时间戳错位 快照与成交 时序关系破坏 字段映射错误 买卖方向/价格 语义被错赋 异常特征失真 → 判定条件不成立 → 漏报 典型表现:压单/撤单/对倒等形态未被触发 排查手段: ① 快照完整性核对(档位计数、标的覆盖、时段连续性) ② 时间戳基准统一与偏移检测 ③ 字段语义抽样比对与方向校验

二、数据源缺失:先确认“有没有”,再谈“准不准”

数据源缺失的排查起点是完整性核对,而不是直接怀疑识别逻辑。实操中可按三个维度建立基线:档位维度,检查每个快照是否包含约定的买卖各十档,若某标的长期只有五档,说明上游推送或解析截断;标的维度,用当日应推送标的清单与实收清单做差集,差集非空即存在缺失;时段维度,按分钟统计快照条数,正常交易时段应近似均匀,出现连续空档即为断流。

以一个教学示例说明:假设某标的在 10:15 至 10:18 之间快照条数为零,而同期成交记录仍在产生。此时若异常识别依赖“盘口挂单量骤降”特征,该时段的大额撤单行为将完全不被感知。排查时先看采集端日志是否有重连记录,再看解析端是否因某字段为空而整条丢弃。常见根因是解析程序对空档位做了严格校验并静默跳过,导致部分快照被整体过滤。修复方式是将“整条丢弃”改为“标记缺失并保留可用档位”,同时在特征计算中对缺失档位做显式处理,避免把缺失误判为零挂单。

三、时间戳错位:统一基准是前提

时间戳错位的隐蔽性更强,因为数据“看起来都在”。问题在于快照时间与成交时间使用了不同基准:交易所时间、网关接收时间、本地入库时间三者若混用,盘口与成交的先后关系就会颠倒。排查方法是选取一段已知存在明显盘口变化的区间,分别用三种时间戳排序,观察盘口变化与成交放量是否同步。若使用本地入库时间时两者错开数百毫秒甚至数秒,而使用交易所时间时吻合,则说明对齐基准选错。

修复要点是明确全链路统一采用交易所撮合时间作为对齐基准,网关接收时间仅用于监控链路延迟,不参与特征对齐。对于跨市场或跨品种数据,还需注意时区与夏令时问题,建议在清洗层统一转换为带时区标识的时间戳,避免“同一时刻”被误认为不同时刻。

四、字段映射错误:语义校验不能省

字段映射错误最典型的后果是买卖方向颠倒。若解析时把卖一价映射到买一价字段,压单形态会被识别成托单,异常判定自然不触发。排查不能只看字段是否有值,而要做语义抽样:抽取若干快照,人工核对买一价应不高于卖一价、买一量对应的档位顺序应单调,若出现买一价高于卖一价,即可判定方向映射错误。

另一类映射错误是价格与数量字段互换或单位不一致,例如数量以“手”推送而系统按“股”计算,导致挂单量特征缩小一百倍,阈值判定失效。修复时应在清洗层增加字段级断言:价格落在合理区间、数量为非负整数、买卖档位价格满足单调关系,断言失败即告警而非静默通过。

排查顺序建议:先做完整性核对排除数据源缺失,再统一时间基准排除错位,最后做语义抽样排除映射错误。三类问题常叠加出现,按此顺序可避免在错误的数据基础上反复调参。

五、案例复盘:一次压单异常漏报的定位过程

某日复盘发现,某标的在尾盘出现明显大额压单,但系统未告警。按上述顺序排查:完整性核对显示该时段快照齐全,档位完整,排除数据源缺失;时间基准比对显示盘口变化与成交放量在交易所时间下同步,排除错位;语义抽样时发现卖一价低于买一价,进一步检查解析配置,确认买卖方向字段在某一版本中被对调。修复映射后回放当日数据,压单特征正常触发,告警恢复。该案例说明,漏报排查应把数据质量检查前置,而不是在识别阈值上反复试探。

为便于日常执行,可将上述检查固化为一张采集清洗巡检表,按标的与时段逐项打勾,任一断言失败即进入对应分支排查。这样能把偶发的漏报定位从“凭经验猜”转为“按链路查”,显著缩短排障时间。