1、数据采集入门：数据来源分类、采集工具介绍、爬虫伦理与法律边界

数据采集，说白了就是「把别人家的数据搬到自己家」。听起来简单，但这里面的门道可不少。我做了这么多年数据工程，见过太多人一上来就写爬虫，结果要么被反爬封了 IP，要么收到了律师函。

这一章，咱们先把地基打牢。数据从哪来？用什么工具搬？哪些能搬、哪些不能搬？搞清楚这三个问题，后面的路才走得稳。

1.1 数据来源分类：你的数据到底在哪？

很多人以为数据都在网页上。其实不然。我习惯把数据来源分成三大类，你想想看，你平时接触的数据是不是也逃不出这几个圈子？

1.2 采集工具介绍：选对工具，事半功倍

工具这东西，没有最好的，只有最顺手的。我这些年换过不少工具，给你列几个我常用的，每个都有它的脾气。

1.2.1 轻量级：Requests + BeautifulSoup

这是入门标配。适合小规模、结构简单的页面。

import requests
from bs4 import BeautifulSoup

url = "https://example.com/data"
response = requests.get(url, headers={"User-Agent": "Mozilla/5.0"})
soup = BeautifulSoup(response.text, "html.parser")

# 提取所有表格行
rows = soup.select("table tr")
for row in rows:
    cells = row.find_all("td")
    if cells:
        print([cell.get_text(strip=True) for cell in cells])

1.2.2 中型项目：Scrapy 框架

当你需要采集成千上万个页面时，Scrapy 是首选。它自带异步、去重、管道、中间件，省去你造轮子的时间。

# 一个简单的 Scrapy Spider 示例
import scrapy

class DataSpider(scrapy.Spider):
    name = "data_spider"
    start_urls = ["https://example.com/list"]

    def parse(self, response):
        for item in response.css("div.item"):
            yield {
                "title": item.css("h2::text").get(),
                "price": item.css("span.price::text").get(),
            }
        # 翻页
        next_page = response.css("a.next::attr(href)").get()
        if next_page:
            yield response.follow(next_page, self.parse)

1.2.3 动态页面：Selenium + Playwright

遇到 JavaScript 渲染的页面，Requests 就抓瞎了。这时候得上浏览器自动化工具。

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get("https://example.com/dynamic")

# 等待页面加载完成
driver.implicitly_wait(10)

# 获取动态加载的数据
data = driver.find_element(By.ID, "dynamic-content").text
print(data)

driver.quit()

1.3 爬虫伦理与法律边界：别踩红线

这部分内容，我建议你认真看。我见过太多人因为不懂法，把自己送进了麻烦里。

1.3.1 三个基本原则

• robots.txt 协议： 这是网站的「君子协定」。爬之前先看 https://example.com/robots.txt，人家不让爬的路径，就别碰。
• 频率控制： 别把人家服务器搞崩了。我习惯在请求之间加 1-3 秒延迟，再好的数据也不值得用「攻击」的方式去拿。
• 数据用途： 采集的数据只能用于个人学习或研究，不能直接商用，更不能转卖。这是底线。

1.3.2 法律红线清单

1.4 本章知识体系总览

下面这张图，把本章的核心逻辑串起来了。你可以把它当作一张「数据采集地图」，以后每次动手前，先看看自己站在哪个位置。