3. 迁移轨迹的数据基础

成交量迁移轨迹测算的可靠性,首先取决于数据底座是否扎实。所谓“多源成交量数据”,通常来自三类渠道:一是交易所或交易平台公开的日频/分钟频成交数据;二是第三方数据服务商(如行情终端、数据API)整理的聚合成交量;三是企业自有业务系统(订单库、支付流水、门店POS)沉淀的交易记录。三类数据在口径、频率、时区和统计维度上往往并不一致,直接拼接会引入系统性偏差。因此本节的核心任务是:把不同来源的成交量数据整理成同一口径、同一时间轴、同一粒度的可比序列,为后续轨迹拟合提供干净输入。

一、采集:先明确“成交量”的口径定义

采集之前必须先固定口径,否则后续对齐无从谈起。成交量至少有四种常见口径:成交笔数、成交金额、成交份额(如股数、手数)、成交用户数。跨行业迁移测算中,最常用的是“成交金额”与“成交笔数”两类,前者反映资金规模,后者反映活跃度。采集时应为每条记录保留以下最小字段集:

  • 来源标识:平台/渠道编码,用于追溯与加权;
  • 时间戳:统一到带时区的标准时间(建议统一为UTC+8并注明);
  • 统计粒度:日、小时、分钟或逐笔;
  • 维度键:品种/品类/门店/区域等业务维度;
  • 成交量值与计量单位:金额(元)、笔数(笔)、份额(股/手);
  • 采集批次与版本:便于回溯修订。

采集方式上,接口拉取适合结构化行情数据,需处理分页与限流;文件导入适合历史归档;日志解析适合自有系统。无论哪种方式,都应把“原始层”与“清洗层”分开存储,原始数据只增不改,保证可复现。

二、对齐:时间轴、频率与维度的三重统一

对齐是多源数据融合中最容易出错的环节,需同时处理三个维度:

时间对齐。不同来源可能使用不同时区或交易日历。例如A平台按自然日统计,B平台按交易日统计,节假日会出现“有量无日”或“有日无量”。处理方法是建立统一日历表,把非交易日标记为缺失而非零值,避免把“休市”误判为“成交归零”。对于分钟级数据聚合到日频,应按时间戳落入统一日界后再求和,而不是简单取平均。

频率对齐。高频向低频聚合用求和(成交量具有可加性),低频向高频拆分则不可随意插值——成交量不是连续平滑信号,线性插值会制造虚假波动。若确需拆分,应使用历史同期分布比例作为权重进行分摊,并明确标注为“估算值”。

维度对齐。不同来源的品类编码、区域划分可能不同,需建立映射表(如“品类A→一级类目01”),映射关系应版本化管理。对于无法映射的记录,进入“待归集池”人工复核,而不是直接丢弃。

多源成交量数据:采集 → 对齐 → 清洗 → 可比序列 ① 采集(原始层) 交易所 / 行情API 日频·分钟频 第三方数据服务商聚合量 自有订单库 / 支付流水 / POS ② 对齐(三重统一) 时间:统一时区 + 交易日历 频率:高频求和聚合,低频不插值 维度:编码映射表 + 待归集池 ③ 清洗(质量规则) 缺失:休市记缺失,不补零 异常:负值/跳变/重复去重 口径:单位换算 + 来源加权 ④ 可比成交量序列(对齐后宽表) 日期 × 维度键 × 来源 → 统一口径成交量 + 质量标记 质量标记与处理决策(示例规则) 标记 M:缺失 休市/停牌 → 保留空值 标记 O:异常 负值/超阈值跳变 → 复核 标记 D:重复 同键同时间 → 保留最新版本 标记 E:估算 分摊/插补值 → 单独标注 原则:原始层只增不改;清洗规则版本化;任何修补值必须可追溯,不得与实测值混同。

三、清洗:用规则而不是“感觉”处理脏数据

清洗阶段应把规则显式化、可配置化,常见规则包括:

缺失处理。区分“结构性缺失”(休市、停牌、未开业)与“技术性缺失”(接口失败、文件缺行)。前者保留为空并打标记,后者应回补采集。切忌对成交量缺失统一补零,因为零值会严重扭曲后续的增长率与迁移强度计算。

异常识别。成交量具有明显的量级差异,建议用“分位数+业务阈值”双条件判断:例如某维度日成交量超过近90日P99的5倍,或出现负值,即标记为异常。异常值不直接删除,而是进入复核队列,确认是真实放量还是数据错误。

重复与版本。同一来源同一维度同一时间可能出现多条记录(如修订重发),应按“采集批次时间”保留最新版本,并记录被覆盖记录,保证可审计。

单位与口径换算。金额统一到元,份额统一到股或手,笔数统一为笔。若某来源只提供“成交额”而另一来源只提供“成交量”,不可直接相加,应分别建列,后续按分析目的选用。

四、一个可执行的对齐清洗示例

假设我们要测算某品类在两个平台间的成交量迁移,采集到平台A的日频成交额(万元)与平台B的分钟频成交笔数。处理步骤如下:

  1. 建立统一日历表,标记交易日与休市日;
  2. 平台B分钟数据按时间戳落入统一日界后求和,得到日频笔数;
  3. 平台A金额乘以10000换算为元,平台B笔数保持为笔,分列存储;
  4. 对两列分别计算近90日P99,标记超阈值记录;
  5. 输出宽表:日期、品类、平台、成交额(元)、成交笔数(笔)、质量标记。

完成后的宽表即可作为迁移轨迹测算的输入。需要强调的是,对齐与清洗不是一次性工作,而应固化为可重复执行的流水线:每次新增数据都按同一套规则处理,规则变更需记录版本。只有这样,后续测算出的迁移轨迹才具备可比性与可复现性。

实践提示:在宽表中额外保留“来源原始值”与“清洗后值”两列,便于在轨迹出现异常拐点时快速定位是业务变化还是数据处理引入的偏差。