2、广告数据采集基础：广告数据类型、数据来源与数据格式
广告数据采集是广告投放优化、预算分配和效果评估的基石。在开始选型采集工具之前，我们必须先厘清三个核心问题：采什么（数据类型）、从哪采（数据来源）、采回来长什么样（数据格式与字段）。只有把这三个基础问题彻底搞透，后续的工具选型才不会走偏。本章将围绕这三层展开，帮助你建立广告数据采集的完整认知框架。
2.1 广告数据类型：从展示到转化的完整链路
广告数据从用户看到广告到最终完成转化，形成一条完整的行为链路。理解这条链路上的每一个数据节点，是后续设计采集方案的前提。
核心原理：广告效果漏斗
广告数据本质上是对用户行为的量化记录。按照用户从曝光到转化的行为路径，我们可以将广告数据划分为四个核心类型：
- 展示数据（Impression）：广告被成功渲染并展示给用户的次数。注意，展示不等于“被看到”，只代表广告被加载到页面或APP中。不同平台对展示的定义略有差异（如Google要求广告至少展示50%像素且持续1秒才算一次展示）。
- 点击数据（Click）：用户点击广告的次数。点击数据是衡量广告创意吸引力的核心指标，但要注意无效点击（误触、机器人点击）的干扰。
- 转化数据（Conversion）：用户完成广告主期望的目标行为，如注册、下单、付费、安装APP等。转化数据是衡量广告ROI的最终依据，通常需要与广告主内部数据打通。
- 花费数据（Spend/Cost）：广告主实际消耗的费用。花费数据与出价方式（CPM、CPC、CPA、oCPM）直接相关，是预算管理和成本控制的核心输入。
判断方法：如何区分不同数据类型
在实际采集过程中，判断一条数据属于哪种类型，主要看两个维度：行为主体（谁产生的行为）和行为阶段（处于漏斗的哪一层）。例如，一条记录显示“用户ID 12345在14:32点击了广告ID A001”，这明显是点击数据；如果记录显示“用户ID 12345在14:35完成了支付订单#8888”，这属于转化数据。
| 数据类型 | 行为主体 | 典型字段 | 采集方式 |
|---|---|---|---|
| 展示 | 媒体平台 | impression_id, ad_id, timestamp, device_id | 媒体API / SDK回调 |
| 点击 | 媒体平台 | click_id, ad_id, user_id, timestamp, ip | 媒体API / 点击监测链接 |
| 转化 | 广告主 | order_id, user_id, conversion_type, revenue | 广告主服务器 / 归因平台 |
| 花费 | 媒体平台 | campaign_id, cost, date, currency | 媒体API报表 |
2.2 数据来源：三大渠道的采集特点
广告数据分散在多个系统中，采集工具必须能够对接不同来源的数据接口。理解各来源的特点，有助于选型时评估工具的适配能力。
核心原理：数据来源的三元结构
广告数据主要来自三个方向：媒体平台（广告投放侧）、广告主（业务转化侧）、第三方（中立监测侧）。三者数据各有侧重，互为补充。
- 媒体平台数据：包括巨量引擎、腾讯广告、Google Ads、Meta Ads等。提供广告投放的完整数据，包括展示、点击、花费、人群定向、素材表现等。数据通过各平台的Marketing API获取，但每个平台的API规范、限流策略、字段命名都不相同。
- 广告主数据：包括广告主自有服务器日志、APP埋点数据、CRM系统数据等。主要记录用户转化行为（下单、注册、付费），是衡量广告真实效果的“金标准”。通常通过数据库直连、日志采集（如Flume、Logstash）或后端API上报获取。
- 第三方数据：包括第三方监测平台（如秒针、AdMaster）、归因平台（如AppsFlyer、Adjust）、数据管理平台（DMP）。提供跨媒体去重、归因分析、人群画像等增值数据。一般通过S2S（Server-to-Server）回调或API拉取。
操作流程：多源数据采集的对接步骤
- 盘点数据源清单：列出所有需要采集的媒体平台、广告主内部系统、第三方工具，明确每个数据源的负责人和接口文档。
- 评估接口能力：检查每个数据源是否提供API、API的调用限制（QPS、每日配额）、数据延迟（实时还是T+1）。
- 设计统一数据模型：将不同来源的数据映射到统一的字段标准（如统一时间格式、统一货币单位、统一设备ID类型）。
- 建立采集任务：根据数据源的接口特点，配置定时拉取或实时推送任务。
- 数据校验与监控：对比不同来源的数据（如媒体平台花费 vs 广告主后台花费），发现差异及时排查。
案例拆解：某电商公司的多源数据采集困境
某跨境电商公司同时投放Google Ads、Facebook Ads和TikTok Ads，并自建了Shopify独立站。初期他们通过人工导出CSV报表的方式汇总数据，每天耗时2小时，且经常出现数据不一致——例如Google Ads显示花费$1,200，但Shopify后台统计的广告带来的订单收入只有$800，无法判断是归因问题还是数据采集遗漏。
后来他们引入了一款支持多源API对接的采集工具，具体操作如下：
- 数据源接入：通过Google Ads API、Facebook Marketing API、TikTok Marketing API自动拉取每日花费、展示、点击数据；同时通过Shopify的订单API拉取转化数据。
- 统一ID映射：将媒体平台的click_id与Shopify订单中的click_id进行关联，实现从点击到转化的全链路追踪。
- 数据校验：设置每日自动对账任务，对比媒体平台花费与广告主后台的“广告费用”字段，差异超过5%即触发告警。
实施后，数据汇总时间从2小时缩短到10分钟，且通过归因分析发现Facebook Ads的实际ROI被高估了20%（因为部分转化被重复归因），调整预算分配后整体ROI提升了15%。
2.3 数据格式与字段：采集工具的“翻译”能力
不同数据源返回的数据格式千差万别，采集工具必须能够解析并标准化这些数据。这是选型时最容易踩坑的地方。
核心原理：常见数据格式与字段特征
广告数据在传输和存储中通常采用以下几种格式：
- JSON（JavaScript Object Notation）：目前API接口最主流的格式，嵌套结构灵活，适合表达层级关系（如campaign下的adgroup下的ad）。
- XML（Extensible Markup Language）：部分老牌平台（如旧版Google AdWords API）仍使用XML，标签化结构，解析相对繁琐。
- CSV/TSV（逗号/制表符分隔）：常用于报表导出，扁平结构，适合批量导入数据库。
- Parquet/ORC（列式存储格式）：大数据场景下的高效存储格式，适合海量广告日志的分析。
字段方面，虽然各平台命名不同，但核心字段可以归纳为以下几类：
| 字段类别 | 示例字段 | 说明 |
|---|---|---|
| 标识字段 | ad_id, campaign_id, click_id, conversion_id | 用于唯一标识实体或事件 |
| 时间字段 | impression_time, click_time, conversion_time | 记录事件发生时间，注意时区统一 |
| 设备字段 | device_id, idfa, gaid, user_agent | 用于识别用户设备和做去重 |
| 计费字段 | cost, currency, bid_type, cpc, cpm | 费用相关，注意货币单位换算 |
| 转化字段 | conversion_type, revenue, order_id | 转化行为的具体描述 |
判断方法：评估工具的格式兼容性
在选型时，可以从以下三个角度评估采集工具的数据格式处理能力：
- 解析能力：工具是否内置了主流格式（JSON/XML/CSV）的解析器？是否支持自定义解析规则（如正则表达式提取）？
- 字段映射：工具是否允许用户将源字段映射到目标字段？例如将Google的“Cost”和Facebook的“Amount Spent”都映射到统一的“spend”字段。
- 数据清洗：工具是否支持去重、空值处理、类型转换（如字符串转数字）、时区转换等操作？
• 花费字段必须大于0且小于单日预算上限
• 点击时间必须在展示时间之后
• 转化收入必须为正数
这些规则能有效拦截异常数据，避免污染下游分析。
常见误区与总结复盘
在广告数据采集基础环节，以下误区最为常见：
- 误区一：只采媒体平台数据，忽略广告主侧数据。这会导致无法计算真实ROI，因为媒体平台的数据只反映“广告侧”表现，不反映“业务侧”结果。
- 误区二：不统一时区。媒体平台默认使用广告账户时区，广告主数据库可能使用北京时间，如果不做时区转换，跨天数据对账必然出错。
- 误区三：忽视数据延迟。部分平台（如TikTok）的数据延迟可达24小时，如果采集工具不支持延迟容忍和自动重试，会导致数据不完整。
- 误区四：字段命名混乱。不同平台对同一指标命名不同（如“花费”在Google叫Cost，在巨量叫Stat_cost），如果不做字段标准化，后续分析SQL会非常痛苦。