📚 课程目录第3章数据采集自动化

3、数据采集自动化：数据源类型、采集策略、API调用与爬虫自动化

3.1 数据源类型与自动化适配层级

构建AI训练数据流水线的第一步，是厘清数据源的类型。不同数据源在可访问性、更新频率、数据结构化程度上差异巨大，直接决定了采集策略的选择。从自动化视角，可将数据源划分为四个层级：开放API型（如GitHub、Twitter/X、天气服务）、半结构化网页型（如新闻站点、论坛、电商列表页）、文件/数据库型（如内部数据仓库、S3存储、CSV导出）以及需逆向协议的接口型（如移动App的私有接口）。其中，开放API是自动化程度最高、最稳定的数据源，而网页爬虫则适用于无公开API或API配额受限的场景。

选型原则：优先使用官方API，其次考虑数据库直连或文件同步，最后才选择爬虫。爬虫是“最后手段”，因为它对页面结构变化敏感，维护成本高。

3.2 采集策略：全量、增量与事件驱动

采集策略决定了数据流水线的时效性与资源消耗。核心策略有三种：全量采集（Snapshot）、增量采集（Incremental）和事件驱动采集（Event-driven）。全量采集适合数据量小或首次建库的场景，实现简单但重复拉取浪费带宽；增量采集通过时间戳、自增ID或版本号识别新增/变更数据，是日常运行的主流；事件驱动则依赖Webhook或消息队列（如Kafka、RabbitMQ）实现毫秒级响应，适合对实时性要求高的场景（如舆情监控、交易数据）。

实际流水线常采用混合策略：首次全量建立基线，之后按固定周期增量同步，同时监听Webhook处理紧急事件。例如，一个电商评论采集系统，每天凌晨2点全量同步商品库（约10万条），每小时增量拉取新增评论（约5000条），同时通过回调接口实时接收用户举报的违规评论。这种分层设计兼顾了完整性与时效性。

策略类型	触发方式	适用场景	优缺点
全量采集	定时（每日/每周）	小数据量、首次建库、维度表	简单可靠；但浪费资源、延迟高
增量采集	定时（分钟/小时级）	日志、订单、评论等持续增长数据	高效；但需可靠的增量标记
事件驱动	Webhook/消息推送	实时风控、交易流水、监控告警	实时性最强；但依赖平台回调能力

3.3 API调用自动化：鉴权、限流与重试

API调用自动化并非简单的requests.get()，而是需要处理鉴权刷新、速率限制（Rate Limit）和失败重试三大核心问题。以GitHub API为例，未认证请求限额60次/小时，认证后提升至5000次/小时。自动化脚本必须内置Token管理模块，在Token过期前自动刷新，并将请求频率控制在安全阈值内。

一个健壮的API采集模块应包含以下逻辑：

class APIClient:
    def __init__(self, base_url, token_manager):
        self.base_url = base_url
        self.tokens = token_manager  # 自动刷新Token
    
    def fetch_with_retry(self, endpoint, params=None, max_retries=3):
        for attempt in range(max_retries):
            resp = self._request(endpoint, params)
            if resp.status_code == 200:
                return resp.json()
            elif resp.status_code == 429:  # 限流
                wait_time = int(resp.headers.get('Retry-After', 60))
                time.sleep(wait_time)
            elif resp.status_code >= 500:
                time.sleep(2 ** attempt)  # 指数退避
        raise Exception(f"API请求失败: {endpoint}")

注意：限流响应头中的 X-RateLimit-Remaining 和 X-RateLimit-Reset 字段必须被解析并记录。当剩余配额低于阈值时，应主动降速或切换数据源，而不是盲目重试导致IP被封禁。

3.4 爬虫自动化：从静态到动态渲染

当目标数据无API可用时，爬虫成为必要手段。现代爬虫自动化需应对动态渲染（JavaScript生成内容）、登录鉴权和反爬策略。推荐的技术栈是 Playwright 或 Selenium 驱动无头浏览器，配合 BeautifulSoup 或 lxml 解析静态DOM。

一个典型的爬虫任务分解为四个阶段：请求（模拟浏览器Headers/Cookies）→ 渲染（等待JS执行完毕）→ 解析（提取目标字段）→ 存储（写入原始HTML或结构化数据）。对于列表页+详情页的站点，常采用广度优先策略：先抓取列表页所有详情链接，再并发请求详情页。需注意设置合理的并发数（如5-10）和下载延迟（0.5-2秒），避免对目标服务器造成压力。

# 使用Playwright处理动态页面
from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=True)
    page = browser.new_page()
    page.goto('https://example.com/products', timeout=30000)
    page.wait_for_selector('.product-item', timeout=10000)  # 等待动态内容加载
    items = page.query_selector_all('.product-item')
    for item in items[:10]:
        title = item.query_selector('.title').inner_text()
        price = item.query_selector('.price').inner_text()
        print(f"{title}: {price}")
    browser.close()

3.5 案例：多源新闻语料采集流水线

假设需要构建一个中文新闻语料库用于训练舆情分类模型。数据源包括：新浪新闻API（开放接口）、知乎热榜（半结构化网页）、内部RSS订阅源（XML文件）。流水线设计如下：

API通道：每10分钟调用新浪新闻API，拉取最新分类新闻，使用since_id参数实现增量更新，存储为JSONL格式。
爬虫通道：每30分钟用Playwright抓取知乎热榜页面，解析排名、标题、热度值，并提取问题描述文本。
文件通道：每5分钟扫描RSS订阅目录，解析新增的XML条目，提取标题、摘要、发布时间。
统一清洗：三个通道的数据汇入Kafka消息队列，由消费者进行去重（基于URL的MD5）、编码转换（统一UTF-8）、HTML标签剥离，最终写入数据湖的raw/news/分区。

该流水线每日可采集约5万条新闻数据，其中API贡献60%，爬虫贡献25%，RSS贡献15%。通过监控面板观察各通道的采集延迟与失败率，当爬虫通道失败率超过10%时自动触发告警，并切换至备用数据源。

3.6 误区与复盘：采集自动化的常见陷阱

  误区一：忽视数据源的服务条款。许多网站禁止未经授权的爬虫采集，即使技术可行也可能引发法律风险。应在项目初期评估合规性，优先选择开放API或已授权数据。

  误区二：爬虫解析逻辑与页面结构强耦合。前端页面每周都可能调整CSS类名或DOM层级，导致爬虫频繁失效。建议在解析层增加字段级校验（如标题长度、日期格式），当异常率超过阈值时自动暂停任务并通知维护人员。

  误区三：将所有采集任务塞进单一调度器。API调用、爬虫、文件同步对资源需求差异大，混跑可能导致互相阻塞。应将任务按类型拆分到不同队列，并为爬虫设置独立的代理池和限速策略。

复盘要点：每次采集任务结束后，应记录数据质量指标——成功解析率、字段缺失率、重复率、平均延迟。这些指标不仅用于评估本次采集效果，更是优化调度策略的依据。例如，若发现某数据源在晚间响应变慢，可自动将任务调整至凌晨低峰期执行。通过持续监控与迭代，采集自动化才能真正成为AI训练流水线中稳定可靠的前端环节。