3. 案例采集与原始数据清洗
盘口案例标签库的质量,首先取决于“原料”的质量。如果采集范围定义不清、抽样策略随意、清洗规则缺失,后续的标签体系再精细,也会因为底层数据不可信而失去价值。本节要解决的是标签库建设的第一道工序:明确采什么、怎么抽、怎么洗,最终形成一张字段规范、时间对齐、可直接入库的原始案例表。
一、采集范围:先划边界,再谈数量
历史盘口案例的采集范围需要从三个维度同时界定,缺一不可。
时间维度决定案例覆盖的赛季或时间窗口。建议以完整赛季为基本单位,避免跨赛季截断导致赛制、球队阵容、盘口风格发生结构性变化。例如采集某联赛近三个完整赛季,起止时间精确到开赛日与收官日,并记录赛季标识字段,便于后续按赛季分层分析。
赛事维度决定纳入哪些比赛。需要明确联赛层级(顶级联赛、次级联赛)、赛事类型(联赛、杯赛、洲际赛事)以及是否包含附加赛、保级附加赛等特殊赛制。不同赛事类型的盘口行为差异显著,混采而不标注赛事类型,会在标签阶段造成混淆。
盘口维度决定采集哪些盘口数据。至少应覆盖赛前初盘、赛前终盘、滚球盘三个时点,并记录盘口类型(亚洲让球盘、欧洲赔率、大小球)。若标签体系涉及特定盘口形态,还需采集对应盘口的完整变化序列,而非仅取首末两点。
二、抽样策略:全量优先,分层抽样兜底
如果数据获取成本可控,优先采用全量采集。全量数据的优势在于不存在抽样偏差,标签分布更接近真实盘口生态。但在数据量大、人工标注成本高的情况下,需要设计合理的抽样策略。
推荐使用分层抽样:先按联赛、赛季、盘口类型、赛果方向等维度分层,再在各层内按比例或固定数量抽取。分层的关键是让稀有但重要的盘口形态不被淹没。例如“深盘逆转”类案例在总体中占比很低,若纯随机抽样可能只抽到个位数,无法支撑标签训练。此时应对该类案例设置最低抽样配额,保证每个标签方向都有足够的样本支撑。
抽样完成后,必须保留抽样日志:记录抽样框、分层变量、各层样本量、随机种子或抽样规则。这份日志是后续复核和扩样的依据,也是判断样本代表性的基础。
三、清洗任务:缺失值、异常值与时间对齐
原始采集数据几乎不可能直接入库,三类清洗任务必须逐项完成。
缺失值处理需要先区分缺失类型。盘口数据缺失常见于:初盘未开出、终盘时间点未记录、滚球数据中断、赛果字段为空。处理原则是“能补则补,不能补则标记,不轻易删除”。初盘缺失可尝试从备用数据源回补,并记录回补来源;无法回补的,保留空值并增加“初盘缺失”标记字段,而不是直接丢弃整条案例。赛果缺失属于致命缺失,应单独列出待核清单,核实后再决定是否纳入。
异常值识别要结合盘口业务逻辑,而非单纯依赖统计阈值。常见异常包括:赔率明显偏离市场区间(如欧洲赔率低于1.01或高于50)、让球盘口跳跃超过合理档位、同一时点出现互相矛盾的盘口记录、时间戳早于比赛开始却标记为滚球数据。识别出异常后,先回溯原始记录判断是录入错误还是真实极端盘口。录入错误应修正或剔除;真实极端盘口应保留,但增加“极端盘口”标记,供标签阶段单独处理。
时间对齐是盘口案例最容易出问题的环节。不同数据源的时区、时间精度、记录时点可能不一致。清洗时必须统一到同一时区(建议统一为比赛所在地时区或UTC,并在字段中注明),并将所有盘口记录对齐到“距开赛时间”的相对时间轴。例如将“赛前24小时”“赛前6小时”“开赛时刻”“赛中第30分钟”作为标准时间锚点,把原始时间戳映射到最近锚点或插值到锚点。时间对齐后,同一案例的盘口变化序列才具备可比性。
四、形成可入库的原始案例表
清洗完成后,需要将数据组织成结构化的原始案例表。这张表的核心设计原则是:一行一个案例,字段可追溯,标记不覆盖原始值。
建议的字段结构包括:案例唯一标识、赛季与联赛标识、赛事类型、比赛双方、开赛时间(统一时区)、各时间锚点的盘口记录(初盘、终盘、滚球关键时点)、赛果字段、缺失标记字段、异常标记字段、数据来源字段、清洗版本号。其中盘口记录建议以结构化子表或序列化字段保存,保留原始数值和对应时间戳,而不是只存一个汇总值。
需要特别强调的是“标记不覆盖”原则。清洗过程中发现的缺失、异常、回补来源,都应作为独立标记字段保留,而不是直接修改原始数值。这样在标签阶段可以按标记筛选案例,也可以回溯清洗决策,避免“洗着洗着把真实信息洗没了”。
下面给出一份可直接参考的清洗检查清单,用于每批数据入库前的自检:
| 检查项 | 判断标准 | 不通过时的处理 |
|---|---|---|
| 时间戳时区一致性 | 全部记录统一时区,无混用 | 按来源逐批转换并记录转换规则 |
| 初盘/终盘锚点覆盖 | 每个案例至少有一个有效盘口锚点 | 补采或标记“盘口缺失”,列入待核 |
| 赛果字段完整性 | 赛果非空且与赛事记录一致 | 单独列出待核清单,核实前不纳入正式库 |
| 异常值标记率 | 异常标记有对应说明,非批量误标 | 抽样复核异常判定逻辑 |
| 抽样日志完整性 | 分层变量、样本量、规则可查 | 补齐日志后再入库 |
完成上述工作后,得到的原始案例表应满足:采集范围有文档、抽样过程有日志、清洗决策有标记、时间轴可对齐、字段可追溯。这张表是后续标签体系建设的唯一数据底座,它的规范性直接决定了标签库能否稳定扩展。在实际操作中,建议先用一个小批次(例如一个赛季的某一联赛)完整跑通采集、抽样、清洗、入库全流程,验证字段设计和清洗规则,再逐步扩量,避免一次性大规模采集后才发现口径问题而返工。