4、数据采集与整理：电商后台数据导出、第三方工具使用、数据清洗、数据标准化、数据仓库搭建
非遗产品电商运营中，数据是决策的基础，但原始数据往往分散在多个平台、多个表格、多个导出文件中。若直接基于脏数据做诊断，结论必然失真。本章聚焦从“原始数据”到“可用数据资产”的完整链路，涵盖电商后台导出策略、第三方工具选型、清洗规则、标准化映射以及轻量级数据仓库搭建方法，帮助运营者建立一套可持续迭代的数据底座。
4.1 电商后台数据导出：从手工下载到自动化采集
非遗产品通常在天猫、京东、抖音小店、微店等多个平台同时销售，每个后台的数据导出逻辑和字段定义各不相同。运营者首先要建立“按主题、按周期、按粒度”的导出规范，避免每次导出字段不一致导致后续无法合并分析。
4.1.1 核心导出维度与频率
| 数据主题 | 核心字段 | 建议导出频率 | 用途 |
|---|---|---|---|
| 订单数据 | 订单号、SKU、数量、实付金额、下单时间、支付时间、收货省份 | 每日增量 + 每周全量 | 销售分析、地域分析、爆款追踪 |
| 商品数据 | 商品ID、标题、类目、价格、库存、上下架状态 | 每日全量 | 商品结构、库存健康度 |
| 流量数据 | 访客数、浏览量、跳失率、平均停留时长、来源渠道 | 每日汇总 | 流量质量、渠道ROI |
| 售后数据 | 售后单号、原因、退款金额、处理时长 | 每周全量 | 品质问题、服务体验 |
导出时注意：时间维度统一采用“支付时间”而非“下单时间”，因为非遗产品常有定制周期，下单与支付可能跨天；金额字段保留两位小数，避免四舍五入误差累积；SKU编码必须包含规格属性（如“苏绣团扇-双面绣-30cm”），不能只导出商品ID。
4.2 第三方工具使用：补齐平台数据盲区
电商后台自带报表往往只覆盖基础指标，对于非遗产品而言，还需要关注搜索词排名、竞品动态、直播带货数据等。第三方工具可以弥补这些盲区，但选择和使用需要遵循“最小必要”原则。
4.2.1 常用工具分类与选型
- 流量分析类：生意参谋（天猫）、京东商智、抖店罗盘。用于查看关键词搜索量、转化率、流量来源构成。
- 竞品监控类：店透视、魔镜市场情报。可监控竞品价格变动、上新节奏、促销活动。
- 直播数据类：蝉妈妈、飞瓜数据。针对抖音/快手直播间的观看、互动、带货转化。
- 数据整合类：Excel Power Query、FineBI。用于多平台数据合并和初步可视化。
使用第三方工具时，要关注数据延迟（通常T+1）、字段口径差异（如“访客数”是否去重）、以及数据采样率。对于非遗产品这类小众类目，部分工具可能样本量不足，导致数据波动大，需结合后台真实数据交叉验证。
4.3 数据清洗：从“能用”到“好用”
原始数据中常见问题包括：重复记录、空值、格式混乱、异常值、平台间字段不一致。清洗的目标是让数据达到“可分析”状态，而非追求完美。
4.3.1 清洗五步法
- 去重：按订单号+SKU组合去重，保留最新一条记录。注意部分平台退款订单会生成新订单号，需关联原始订单。
- 空值处理：对于“收货省份”为空但订单有效的记录，可通过IP地址或客服备注补全；无法补全的标记为“未知”，不直接删除。
- 格式统一：日期统一为YYYY-MM-DD，金额统一为数字格式（去除货币符号），手机号统一为11位文本。
- 异常值识别：订单金额为0或负数、数量超过100件、单价超过类目均值10倍等，需人工复核。
- 逻辑校验：支付时间应晚于下单时间；退款金额不应大于订单金额；库存变化应与订单量匹配。
4.4 数据标准化：建立统一口径
标准化是数据仓库建设的前置条件。非遗产品涉及类目、工艺、材质、产地等多个维度，不同平台对这些维度的分类方式差异很大。例如，天猫将“苏绣”归入“家居饰品-刺绣”，抖音则归入“手工艺-刺绣”。标准化需要建立一套内部统一的维度字典。
4.4.1 标准化映射表示例
| 内部标准字段 | 天猫来源字段 | 抖音来源字段 | 标准化规则 |
|---|---|---|---|
| 产品类目 | 家居饰品-刺绣 | 手工艺-刺绣 | 统一映射为“刺绣” |
| 工艺类型 | 苏绣/蜀绣/粤绣 | 苏绣/蜀绣 | 按“绣种”字段统一 |
| 材质 | 真丝/棉麻 | 丝绸/棉 | 真丝→丝绸，棉麻→棉 |
| 价格带 | 0-200/200-500 | 0-300/300-800 | 统一为0-300/300-800/800+ |
标准化过程中，要保留“原始字段值”作为冗余列，便于追溯和调整映射规则。同时建立“维度字典表”，记录每个标准值的别名、来源平台、映射时间，方便后续维护。
4.5 数据仓库搭建：从Excel到轻量级数仓
当数据量超过10万行或需要多人协作分析时，Excel已无法满足需求。非遗电商团队可搭建轻量级数据仓库，推荐使用MySQL或PostgreSQL + 开源BI工具（如Metabase、Superset）。
4.5.1 数仓分层架构
- ODS层（原始数据层）：按平台+日期存储原始导出数据，不做任何加工，保留完整历史。
- DWD层（明细数据层）：完成清洗和标准化后的明细数据，字段统一、粒度一致。
- ADS层（应用数据层）：面向具体分析主题的汇总表，如“每日销售汇总”“地域分布表”“爆款追踪表”。
搭建步骤：① 设计表结构（订单事实表、商品维度表、时间维度表）；② 编写ETL脚本（Python + Pandas或SQL存储过程）；③ 设置定时任务（每日凌晨2点执行）；④ 配置BI看板。
4.5.2 数仓质量监控
建立“数据质量日报”，监控以下指标：
| 监控项 | 预警阈值 | 处理方式 |
|---|---|---|
| ETL执行失败次数 | > 0 | 立即告警，检查源数据接口 |
| 订单量日环比波动 | > ±30% | 核对是否有大促或数据漏采 |
| 空值率 | > 5% | 检查上游字段映射是否失效 |
| 重复记录数 | > 0 | 检查去重逻辑是否被绕过 |
4.6 常见误区与复盘
总结复盘：数据采集与整理的核心不是工具多复杂，而是建立一套“可重复、可追溯、可校验”的流程。建议每季度进行一次数据质量审计，检查字段映射是否仍然有效、维度字典是否需要扩充、清洗规则是否覆盖新出现的异常类型。只有数据底座稳固，后续的销售诊断、库存优化、用户画像分析才有可靠依据。