3. 样本筛选的业务问题定义
在集合竞价研究中,最容易被低估的一步不是建模,也不是统计检验,而是把一句模糊的业务诉求翻译成一组可执行、可验证的样本筛选条件。比如“我想研究异常竞价”“帮我看看哪些股票开盘流动性好”“能不能预测开盘后的走势”,这些说法在业务上听起来清楚,但在数据层面几乎无法直接落地——什么叫异常?流动性用什么度量?预测的时间窗口多长?不解决这些问题,后续的样本抽取、特征构造和检验都会建立在流沙之上。
本节的核心任务,是把模糊问题转化为可操作的样本筛选目标,并同时明确两类约束:筛选约束(哪些样本进入研究范围)与评价标准(用什么指标判断筛选是否有效、研究结论是否可信)。前者决定“看什么”,后者决定“怎么算看对了”。
一、模糊问题的三种典型形态
实际研究中,模糊诉求通常以三种形态出现,需要分别拆解。
第一种是概念模糊。“异常竞价”本身没有定义。是竞价阶段成交量异常放大,还是竞价价格相对前收盘大幅偏离,抑或是竞价撤单率异常?不同定义会筛出完全不同的样本。此时要做的是把概念拆成可观测的代理变量,例如用“竞价成交量 / 过去20日同时段成交量均值”衡量放量程度,用“(竞价参考价 − 前收盘价)/ 前收盘价”衡量价格偏离,用“竞价撤单量 / 竞价委托量”衡量撤单强度。
第二种是对象模糊。“流动性好的股票”没有说明市场范围、板块范围和时间范围。是沪深主板还是包含创业板、科创板?是全部交易日还是特定行情阶段?是看竞价阶段的流动性还是全天流动性?对象不界定,样本池就无法固定。
第三种是目标模糊。“预测开盘走势”没有说明预测什么、预测多长、以什么为基准。是预测开盘后30分钟收益率方向,还是预测开盘价相对竞价参考价的偏移?是二分类判断还是回归预测?目标不同,标签构造方式和评价指标完全不同。
二、把目标写成可执行的筛选表达式
一个合格的筛选目标应当能直接翻译成数据查询条件。以“识别异常竞价放量样本”为例,可以写成如下可执行形式(示例参数为教学假设,非实测结果):
样本池:沪深主板,剔除ST与上市不足60个交易日的新股
时间窗:2023-01-01 至 2023-12-31,共约240个交易日
基础字段:竞价成交量 vol_auction、前20日同时段均量 vol_ma20
放量倍数:ratio = vol_auction / vol_ma20
筛选条件:ratio >= 3.0 且 vol_auction >= 50万股
辅助条件:竞价价格偏离 |pct_chg| <= 9.5%(剔除一字板干扰)
输出:满足条件的 (股票, 交易日) 样本清单
这段表达式里,每一个数字都对应一个业务判断:3倍是“异常”的量化门槛,50万股是排除极小样本的噪声下限,9.5%的偏离上限是为了剔除涨跌停一字板导致的竞价失真。门槛不是拍脑袋定的,而应结合分布特征确定——例如先统计全样本 ratio 的分位数,取90%或95%分位作为初始阈值,再根据业务容忍度调整。
三、筛选约束与评价标准要成对出现
只给筛选条件、不给评价标准,是样本筛选最常见的缺陷。筛选约束回答“样本怎么来”,评价标准回答“筛出来的样本是否支撑研究目标”。二者必须成对设计。
以“评估竞价流动性”为例,筛选约束可以是:竞价成交额不低于500万元、竞价参与委托笔数不少于200笔、连续竞价前5分钟成交额占比可计算。对应的评价标准则包括:样本覆盖率(筛出样本占全市场比例是否合理,过低说明门槛过严)、区分度(筛出样本与未筛出样本在后续流动性指标上是否有显著差异)、稳定性(分月统计样本量波动是否过大)。
再以“预测开盘走势”为例,筛选约束是标签可计算、特征在竞价结束时点可得(避免未来信息泄露);评价标准则是样本的类别平衡度、标签分布的时间稳定性,以及基准模型上的区分能力(如AUC)。如果筛出的样本正负例比例严重失衡(例如95%以上为同一类),就需要回头调整标签定义或采样方式,而不是直接进入建模。
四、一个完整的定义示例
把上述方法串起来,给出一个可直接参考的问题定义模板(示例参数为教学假设):
| 定义要素 | 示例内容 | 作用 |
|---|---|---|
| 业务问题 | 识别集合竞价阶段的异常放量样本,用于后续开盘走势研究 | 锚定研究目的 |
| 研究对象 | 沪深主板,剔除ST与上市不足60日新股,2023全年 | 固定样本池 |
| 观测字段 | 竞价成交量、前20日同时段均量、竞价价格偏离、撤单率 | 确定可用变量 |
| 筛选约束 | ratio ≥ 3.0,成交量 ≥ 50万股,|偏离| ≤ 9.5% | 可执行查询条件 |
| 评价标准 | 样本覆盖率5%–15%,分月样本量变异系数 < 0.5,与对照组后续收益差异显著 | 判断筛选有效性 |
| 输出物 | 满足条件的(股票,交易日)样本清单及字段快照 | 交付可复现数据 |
五、常见误区与检查要点
第一,用结论倒推筛选条件。先看到某类样本表现好,再回头设定能筛出它的门槛,这属于数据窥探,会让后续统计检验严重高估效果。正确做法是先定门槛、再看结果,或使用样本外区间验证。
第二,约束过严导致样本枯竭。多个条件叠加后样本量可能骤降,此时应检查各条件的边际筛除率,找出“杀伤力”最大的那一条,评估其业务必要性,而不是简单放宽所有门槛。
第三,忽略时点一致性。竞价阶段能拿到的字段与连续竞价阶段不同,若筛选条件中混入了竞价结束后才产生的数据,就会造成未来信息泄露。定义时应逐字段标注“可得时点”。
第四,评价标准缺失。没有覆盖率、区分度、稳定性这些检验,筛选结果无法判断是真实信号还是偶然噪声。建议在样本清单产出后,先做分布对比和分组统计,再进入建模环节。
归根结底,样本筛选的业务问题定义,是把研究者的意图转译成数据语言的过程。它要求同时具备业务判断力和数据严谨性:门槛要有业务含义,条件要能落地执行,评价要能反向验证。做到这三点,后续的统计检验才有可靠的地基。