4、数据挖掘基础：数据挖掘概念、常用流程（CRISP-DM）、数据采集、清洗、建模、评估与部署

在化妆造型妆容流行趋势的研究中，数据挖掘并非简单的数据堆砌，而是从海量、动态、多源的妆容数据中提取潜在规律、预测未来风向的系统性工程。本章将围绕数据挖掘的核心概念、业界通用的CRISP-DM流程框架，以及从数据采集到部署的完整链路展开，帮助学习者建立从“看见数据”到“驾驭数据”的实战能力。

4.1 数据挖掘核心概念与CRISP-DM流程

4.1.1 核心原理：从数据到决策的转化逻辑

数据挖掘（Data Mining）是从大量、不完全、有噪声、模糊且随机的数据中，提取隐含在其中的、人们事先未知但又是潜在有用的信息和知识的过程。在化妆造型领域，数据挖掘的对象包括社交媒体妆容图片、美妆博主的视频标签、电商平台的口红/眼影销售记录、时装周秀场妆容描述等。其本质是通过算法模型发现数据背后的“关联规则”“聚类结构”或“时序趋势”，从而为妆容流行趋势预测提供量化依据。

CRISP-DM（Cross-Industry Standard Process for Data Mining）是目前数据挖掘领域最成熟、应用最广泛的方法论。它将整个挖掘过程划分为六个阶段：业务理解、数据理解、数据准备、建模、评估、部署。这六个阶段并非线性执行，而是存在反复迭代的循环关系。例如，在建模阶段发现数据质量不足，需要返回数据准备阶段重新清洗；在评估阶段发现业务目标未达成，需要返回业务理解阶段重新定义问题。

4.1.2 判断方法与操作流程：CRISP-DM六阶段落地要点

4.1.3 案例拆解：某美妆品牌用CRISP-DM预测唇釉流行质地

背景与约束：某国产美妆品牌计划在2024年秋季推出新品唇釉，需要预判“哑光”“水光”“丝绒”三种质地中哪一类将成为主流。品牌方拥有天猫旗舰店2023年1月至2024年3月的销售数据、小红书笔记文本及抖音短视频评论数据。约束条件为：项目周期仅6周，数据团队仅3人。

初始现象：销售数据显示“水光”质地销量占比从2023年Q1的28%上升至2024年Q1的41%，但小红书“哑光”相关笔记互动量仍高于“水光”。数据矛盾导致决策困难。

分析判断过程：团队严格遵循CRISP-DM流程。在业务理解阶段，将目标细化为“预测2024年9-11月各质地销售额占比”。数据理解阶段发现小红书笔记存在大量“标题党”导致互动量失真，而销售数据受促销活动干扰。数据准备阶段，对销售数据剔除双11、618大促异常值，对文本数据使用BERT模型提取“质地”相关情感倾向。建模阶段采用时间序列ARIMA模型预测销量，同时用随机森林分析质地偏好的关键驱动因素（如季节、KOL推荐、价格带）。评估阶段发现ARIMA模型对“丝绒”质地预测误差达±15%，经排查是2023年秋季“丝绒”质地因明星同款效应出现异常峰值，于是引入外部搜索指数作为外生变量修正模型。

实际操作与结果：最终模型预测“水光”质地秋季销量占比为46%，“丝绒”为32%，“哑光”为22%。品牌方据此调整生产计划，将水光唇釉产量提升至总产量的50%。2024年10月实际销售数据显示，水光质地占比达44%，丝绒为30%，哑光为26%，预测误差控制在3个百分点以内。

风险与复盘：项目最大风险在于外部环境突变（如竞品爆款出现），模型无法提前捕捉。复盘经验：在部署阶段应建立月度滚动预测机制，而非一次性预测；同时将KOL合作排期作为特征变量纳入模型，提高对突发趋势的响应速度。

4.2 数据采集：多源异构数据的获取策略

4.2.1 核心原理：数据源分类与采集原则

妆容流行趋势数据源可分为三类：结构化数据（电商销售记录、搜索指数、价格数据）、半结构化数据（JSON格式的API返回数据、XML的秀场报道）、非结构化数据（妆容图片、视频、博文文本）。采集原则遵循“3V+1C”：Volume（数据量）、Velocity（采集速度）、Variety（多样性）、Correctness（准确性）。在妆容场景中，图片数据的采集需特别注意版权合规性，建议优先使用官方API或已授权数据集。

4.2.2 操作流程：从需求到数据落地的四步法

1. 需求映射：将业务问题转化为具体数据需求。例如“预测眼影流行色”需要色号数据、图片像素数据、时间戳数据。
2. 源选择：评估各平台数据可用性。小红书开放平台提供笔记API，微博提供话题数据接口，天猫生意参谋提供销售数据导出。
3. 采集实施：使用Python编写爬虫脚本（需遵守robots协议），或调用第三方数据服务。对于图片数据，需记录图片URL、发布时间、点赞数、评论内容等元数据。
4. 数据存储：采用MySQL存储结构化数据，MongoDB存储JSON半结构化数据，OSS对象存储保存原始图片文件。

# 示例：采集小红书笔记元数据（简化版）
import requests
import json

def fetch_xiaohongshu_notes(keyword, pages=5):
    all_data = []
    for page in range(pages):
        url = f"https://api.xiaohongshu.com/notes?keyword={keyword}&page={page}"
        headers = {"Authorization": "Bearer YOUR_"}
        resp = requests.get(url, headers=headers)
        if resp.status_code == 200:
            items = resp.json().get("data", [])
            for item in items:
                all_data.append({
                    "note_id": item["id"],
                    "title": item["title"],
                    "likes": item["liked_count"],
                    "comments": item["comment_count"],
                    "tags": item["tag_list"],
                    "post_time": item["time"]
                })
    return all_data

# 采集“眼影”相关笔记
notes = fetch_xiaohongshu_notes("眼影", pages=3)
print(f"采集到 {len(notes)} 条笔记")

4.3 数据清洗与建模：从原始数据到趋势洞察

4.3.1 数据清洗的核心原理与操作

数据清洗是决定模型效果的关键环节。妆容数据常见的质量问题包括：重复数据（同一妆容图片被多次转发）、缺失值（部分笔记缺少色号标签）、异常值（某条视频因病毒式传播点赞量异常高）、不一致数据（不同博主对同一颜色描述为“豆沙色”和“干枯玫瑰色”）。清洗流程包括：去重（基于图片MD5哈希）、缺失值填充（用众数或KNN插补）、异常值检测（使用IQR或Z-Score方法）、数据标准化（将颜色描述映射到Pantone色卡编码）。

4.3.2 建模方法选择与实战对比

在建模过程中，特征工程尤为重要。以妆容图片数据为例，原始像素数据维度极高（一张224x224的RGB图片有150528个特征），需通过预训练的ResNet模型提取512维深度特征，再降维至50维用于聚类。对于文本数据，使用TF-IDF或Word2Vec将妆容描述转化为向量。

4.3.3 案例拆解：基于K-Means的眼影流行色挖掘

场景：某彩妆品牌想了解2024年春季消费者最关注的眼影色系，以指导新品开发。

数据准备：采集天猫平台2024年2-4月“眼影”品类下销量TOP1000的商品数据，包括商品主图、标题、色号名称、月销量。使用OpenCV提取主图中心区域的主色调（将RGB转为HSV空间，统计色相直方图），得到每个商品的“主色相值”。

建模过程：对1000个商品的色相值进行K-Means聚类（K=5），得到五个色系中心：暖棕（色相30°）、粉调（色相350°）、橘调（色相15°）、紫调（色相280°）、大地色（色相40°）。进一步统计每个簇的平均销量，发现“粉调”簇平均月销量为8500件，远高于“大地色”簇的3200件。

结果应用：品牌方将“粉调”作为2024年秋季主推色系，并针对该色系开发3款不同质地的眼影。上市后首月销量突破5万件，较上一季新品提升37%。

复盘：该案例中，数据清洗阶段发现部分商品主图包含模特脸部而非纯眼影盘图片，导致色相提取偏差。通过增加人脸检测模型过滤非目标图片后，聚类效果显著提升。经验是：图像类数据清洗必须结合领域知识，不能仅依赖通用算法。

4.4 评估与部署：确保模型落地价值

4.4.1 评估维度的双轨制

模型评估需同时关注技术指标和业务指标。技术指标包括：分类模型的准确率、召回率、F1值；聚类模型的轮廓系数、Davies-Bouldin指数；回归模型的RMSE、MAE。业务指标则需回归到CRISP-DM第一阶段定义的目标，例如“趋势预测准确率是否达到85%”“模型是否帮助降低库存积压率”。在妆容场景中，还需引入专家评审机制——邀请资深化妆师对模型输出的趋势报告进行主观评价，因为某些数据规律可能不符合行业经验，需要人工判断其合理性。

4.4.2 部署的三种形态与运维要点

• 报告型部署：将分析结果制作成PPT或PDF趋势报告，定期发送给决策层。适用于一次性或低频决策场景。
• API服务型部署：将训练好的模型封装为REST API，供内部选品系统或外部合作伙伴实时调用。例如，提供“上传妆容图片，返回流行度评分”的API。
• 嵌入式部署：将模型集成到现有ERP或CRM系统中，实现自动化的趋势预警。例如，当某色系搜索量连续7天增长超过20%时，系统自动触发采购提醒。

4.4.3 常见误区与总结复盘