📚 课程目录第4章数据获取与预处理

4、数据获取与预处理：美妆行业数据来源（销售、社媒、搜索、评论）、数据清洗、缺失值处理、异常值检测

美妆行业的数据分析不同于一般快消品，其核心特征在于“情绪驱动+高频迭代+强社交属性”。一支口红的销量不仅取决于价格与功效，更与小红书笔记的种草密度、抖音达人的开箱节奏、甚至某位头部主播的直播话术高度相关。因此，趋势预测模型在美妆行业的落地，第一步并非建模，而是构建一套能够覆盖“销售—社媒—搜索—评论”四类数据源、且经过严格质量治理的数据底座。本章将系统拆解美妆行业的数据获取渠道、清洗规范、缺失值处理策略与异常值检测方法，并给出可直接复用的操作流程与实战案例。

4.1 美妆行业四类核心数据源及其采集要点

核心原理：美妆趋势预测的输入数据必须覆盖“消费者从认知到购买再到反馈”的完整链路。仅依赖销售数据只能看到“已发生的结果”，无法捕捉“正在酝酿的趋势”。因此，需要将销售数据（结果指标）、社媒数据（种草与讨论）、搜索数据（主动意图）、评论数据（体验反馈）四类数据源融合使用。

数据源	典型平台/系统	关键字段	采集频率	主要用途
销售数据	天猫/京东/抖音电商、ERP	SKU、销量、销售额、价格、库存、促销标记	日/小时	趋势基线、季节因子、爆品识别
社媒数据	小红书、抖音、微博、B站	笔记ID、点赞、收藏、评论数、关键词、达人粉丝量	小时级	种草热度、话题趋势、KOL影响力
搜索数据	百度指数、淘宝搜索、Google Trends	关键词、搜索量、环比、相关词	日	用户主动意图、需求前置信号
评论数据	天猫评价、京东评价、小红书评论	评论内容、评分、时间、SKU、用户ID	周/日	情感分析、功效反馈、质量问题发现

操作流程：采集环节需注意三点。第一，API权限与合规：天猫、京东等平台需通过官方开放平台申请接口权限，小红书、抖音需使用合规的第三方数据服务商（如新榜、蝉妈妈），避免爬虫法律风险。第二，时间对齐：不同数据源的时间粒度不同，销售数据按自然日汇总，社媒数据按小时抓取后需聚合成日粒度，搜索指数通常为日更新，评论数据可按周聚合。第三，SKU映射：销售数据中的SKU编码与社媒中的产品名称（如“XX品牌精华油30ml”）需要建立映射表，否则无法关联分析。

经验提醒：美妆行业存在明显的“搜索先行、社媒发酵、销售滞后”的时序关系。例如“早C晚A”概念在2022年3月搜索量先升，4月小红书笔记爆发，5月相关产品销售才显著增长。因此，在构建趋势预测模型时，搜索和社媒数据应作为领先指标，销售数据作为滞后确认指标。

4.2 数据清洗：从原始数据到可用数据

核心原理：数据清洗的目标是消除“脏数据”对模型的干扰。美妆行业的数据脏点主要集中在：重复记录（同一篇笔记被多次抓取）、格式不一致（价格单位“元/瓶”与“元/30ml”混用）、文本噪声（表情符号、URL、广告语）、字段错位（SKU与产品名称不匹配）。清洗不是一次性的，而是需要形成可配置、可追溯的规则引擎。

清洗操作流程：

去重：对销售数据按“订单ID+SKU”去重；对社媒数据按“笔记ID”去重；对评论数据按“用户ID+评论内容哈希”去重。去重率应记录在日志中，便于评估采集质量。
格式统一：日期统一为YYYY-MM-DD；价格统一为“元/标准规格”（如每30ml）；销量统一为“件”；文本统一去除HTML标签、URL、@提及。
文本清洗：使用正则表达式去除表情符号、乱码字符、纯广告内容（如“加微信”）。对于评论数据，还需过滤“默认好评”等无信息量文本。
字段对齐：建立“SKU-产品名-品类-品牌”的映射字典，将不同数据源中的同一产品统一命名。例如“XX精华油”与“XX精华液（油状）”应映射为同一实体。

  实战场景：某品牌在清洗小红书笔记时发现，同一篇种草笔记因被多个KOL转载，产生了 37 条重复记录。若不去重，会导致该产品的社媒声量被高估 3.2 倍，进而误导趋势预测模型将其误判为“爆品”。通过按“笔记ID+正文前50字哈希”去重后，声量数据回归合理区间。

4.3 缺失值处理：策略选择与实施

核心原理：缺失值处理的核心原则是“先判断缺失机制，再选择处理方法”。美妆数据中，缺失通常分为三类：随机缺失（如某天某SKU的销量未上传）、非随机缺失（如价格字段因促销活动未记录）、结构性缺失（如新品上市前无历史销售数据）。不同缺失机制需要不同的处理策略。

缺失类型	常见场景	推荐策略	注意事项
随机缺失（MCAR）	接口偶发故障导致某小时数据丢失	删除该记录，或用前后均值插补	缺失率 < 2% 时可直接删除
非随机缺失（MNAR）	促销期间价格字段未填写	用同SKU近7日中位数插补	需检查缺失是否与业务事件相关
结构性缺失	新品上市前无销售/评论数据	用同品类相似产品数据填充，或标记为“新品”	不可用0填充，会扭曲趋势

操作流程：第一步，统计每个字段的缺失率，绘制缺失矩阵；第二步，若缺失率 > 30%，考虑删除该字段或重新采集；第三步，若缺失率 < 5%，优先使用删除或简单插补；第四步，若缺失率在 5%-30% 之间，需结合业务含义选择插补方法（线性插值、中位数、KNN插补）。

风险提示：美妆行业的价格字段缺失往往与“大促”相关。如果直接用0填充，会导致销售额被低估；如果用全局均值填充，会抹平促销的价格弹性。正确做法是：先识别促销标记（如“618”“双11”），再按“是否促销”分组插补。

4.4 异常值检测：识别真异常与业务事件

核心原理：异常值检测的目标不是“删除所有离群点”，而是区分真异常（数据错误）与业务事件（真实但罕见的高峰）。美妆行业中，一次头部主播直播可能带来 300% 的销量增长，这并非数据错误，而是重要的业务信号。因此，异常检测需要结合业务上下文进行判断。

常用检测方法：

3σ原则：适用于近似正态分布的数据。计算均值μ和标准差σ，超出μ±3σ的值为异常。但美妆销量数据通常呈右偏分布，需先做对数变换。
IQR（四分位距）法：计算Q1（25%分位）和Q3（75%分位），IQR=Q3-Q1，超出Q1-1.5×IQR或Q3+1.5×IQR的值为异常。该方法对偏态分布更稳健。
时间序列分解法：将数据分解为趋势、季节、残差，残差超过阈值（如3倍标准差）的点为异常。适用于有强季节性的美妆销售数据。

  案例拆解：某品牌精华油销量异常检测

  背景：该品牌计划基于历史销售数据预测未来4周销量，但发现某SKU在3月8日销量突增 320%。

  初始判断：使用3σ法检测，该点被标记为异常。

  深入分析：核查发现当天该产品出现在李佳琦直播间，且直播间链接带有专属优惠券。进一步查看社媒数据，当天小红书相关笔记增加 210 篇，搜索指数上升 180%。

  处理决策：不删除该点，而是新增“直播标记”字段（0/1），并将该事件作为特征加入模型。

  结果：模型预测准确率从 82% 提升至 89%，且能识别后续直播带来的销量脉冲。

  复盘：异常值检测必须与业务日历（大促、直播、新品发布）联动，建立“异常事件日志”辅助判断。

操作流程：第一步，对销量、销售额、社媒声量等关键指标分别进行IQR检测；第二步，将检测出的异常点与业务日历（大促、直播、舆情事件）进行匹配；第三步，匹配成功的标记为“业务事件”，不匹配的进一步核查数据源；第四步，对确认为数据错误的记录进行修正或删除，并记录在数据质量报告中。

经验提醒：建议建立“异常值处理台账”，记录每个异常点的检测方法、业务判断、处理方式。这不仅能提升模型的可解释性，还能为后续的自动化异常检测提供标注样本。

4.5 数据质量验证与输出

完成清洗、缺失处理、异常检测后，需要进行最终的质量验证。验证指标包括：数据完整率（非空字段占比）、去重率（去重后记录数/原始记录数）、异常值占比、跨源一致率（如销售数据中的销量与社媒声量的相关性是否合理）。验证通过后，输出为建模宽表，包含SKU、日期、销量、销售额、价格、社媒声量、搜索指数、评论情感得分、促销标记等字段。

验证维度	目标阈值	验证方法
数据完整率	≥ 95%	逐字段统计非空比例
去重率	≥ 98%	对比去重前后记录数
异常值占比	≤ 3%	IQR法检测后统计
跨源一致率	≥ 90%	随机抽取50个SKU，人工比对销售与社媒趋势

数据预处理是趋势预测模型中最耗时但回报率最高的环节。一个经过严格治理的数据集，不仅能提升模型精度，还能减少因数据质量问题导致的错误决策。建议团队将本章的清洗规则、缺失处理策略、异常检测流程固化为可复用的数据管道，实现每日自动运行，为后续建模提供稳定、可靠的数据输入。