📚 课程目录第2章社交媒体数据基础

2. 社交媒体数据基础

做社交媒体情绪与舆情因子，第一步不是建模，而是把“数据从哪来、长什么样、能不能拿、拿了能不能用”这四件事说清楚。很多项目失败并非算法不行，而是数据源选错、字段理解错、采集方式越界，导致样本偏差、指标失真甚至法律风险。本节围绕平台类型、数据形态、API采集、爬虫伦理与合规要点，建立一套可落地的数据基础认知。

一、核心原理：平台类型决定数据形态与采集边界

社交媒体平台并非同质化，其产品结构决定了数据形态与可获取性。按信息组织方式，可大致分为四类：

微博客型（如微博、X）：以短文本、转发、评论、点赞为核心，传播链路清晰，适合做舆情扩散与情绪传染分析。
社区论坛型（如贴吧、Reddit）：以主题帖和楼层回复组织，讨论深度高，适合做议题演化与观点聚类。
短视频/图文型（如抖音、小红书）：以内容推荐流为主，文本稀疏、多模态强，情绪更多藏在标题、弹幕与评论中。
即时通讯型（如微信、Telegram）：私域封闭，公开数据极少，合规获取难度最高，通常只能通过授权或公开群组有限采集。

平台类型直接决定三件事：字段结构、采样方式、合规红线。例如微博客型可通过关键词流式接口获取，而短视频型往往需要依赖开放平台授权或第三方数据服务。

核心判断：先问“这个平台的数据是否公开、是否授权、是否可追溯”，再问“字段能否支撑情绪与舆情因子”。顺序颠倒，后期必然返工。

二、数据形态：从原始对象到分析字段

社交媒体数据通常以 JSON 对象返回，包含用户、内容、互动、时间、位置等维度。以一条典型帖子为例：

{
  "platform": "weibo",
  "post_id": "4987654321",
  "user_id": "u_10293",
  "created_at": "2024-06-11T09:23:15+08:00",
  "text": "今天的发布会信息量很大，但价格有点超出预期。",
  "repost_count": 128,
  "comment_count": 46,
  "like_count": 302,
  "sentiment_hint": "mixed",
  "geo": "上海",
  "source": "iPhone客户端"
}

在情绪与舆情因子工程中，原始字段需要映射为可计算指标。常见映射关系如下表：

原始字段	分析字段	用途
text	情绪极性、情绪强度	情绪因子计算
created_at	时间窗口聚合	舆情热度时序
repost/comment/like	互动总量、互动速率	传播力与影响力
user_id	去重用户数、KOL识别	传播节点分析
geo	地域分布	区域舆情对比

需要注意：互动字段存在平台差异，有的平台只给总量，有的给增量；时间字段时区不统一，跨平台聚合前必须统一到同一时区，否则时序因子会出现错位。

三、API采集：优先走官方通道

API采集是合规性最高、稳定性最好的方式。典型流程为：注册开发者账号 → 创建应用 → 获取密钥 → 调用接口 → 分页/流式拉取 → 落库。以常见 REST 接口为例：

GET /2/tweets/search/recent
  ?query=发布会
  &max_results=100
  &tweet.fields=created_at,public_metrics,lang
  &start_time=2024-06-11T00:00:00Z
Authorization: Bearer <ACCESS_>

采集时需重点关注四个参数：query（关键词与布尔逻辑）、max_results（单页上限）、start_time/end_time（时间窗口）、next_（分页游标）。流式接口则需处理断线重连与去重。

建议在采集层就写入 collected_at 与 source_api 字段，便于后续排查数据来源与延迟问题。

四、爬虫伦理与数据合规要点

当官方 API 无法覆盖需求时，部分团队会考虑网页爬虫。但爬虫并非“技术可行即可为”，必须同时满足法律、平台规则与伦理三重约束。

robots.txt 与用户协议：遵守平台声明的抓取范围，不绕过登录、验证码与访问限制。
个人信息保护：不采集身份证、手机号、精确位置等敏感信息；用户昵称、头像等也需谨慎处理。
频率与负载：控制并发与请求间隔，避免对目标站点造成压力。
数据最小化：只采集分析必需字段，不囤积无关数据。
用途限定：明确用于研究、监测或商业分析，不转售、不二次分发。
可追溯与可删除：保留采集日志，支持数据主体删除请求。

高风险行为：绕过反爬机制、批量抓取私域内容、采集未成年人信息、将数据用于人肉搜索或精准骚扰。这些不仅违规，还可能触犯法律。

五、案例与复盘：一次舆情监测的数据源选择

某品牌在新品发布后需要监测全网情绪。初期团队直接对某短视频平台做网页爬虫，结果遇到三个问题：一是评论加载依赖加密接口，字段缺失严重；二是频繁请求导致 IP 被封；三是采集到的用户信息超出必要范围，法务叫停。复盘后调整为：官方开放平台授权获取评论 + 微博关键词 API 补充文本 + 第三方合规数据服务补充短视频侧，并统一时区与去重规则。最终情绪因子的覆盖率从 41% 提升到 87%，且全程可审计。

这个案例说明：数据基础不是“能抓到就行”，而是来源可解释、字段可映射、过程可审计、使用可合规。只有把平台类型、数据形态、API采集与合规要点打通，后续的情绪计算与舆情因子才具备可信度。