一、数据采集概述

大家好，我是这门课的主讲人。做了十几年数据工程，我见过太多项目在数据采集阶段就埋下了坑。今天咱们先聊聊数据采集到底是什么，为什么它这么重要，以及在实际场景中怎么用。

说白了，数据采集就是把现实世界里的信息，变成计算机能处理的数字信号。你想想看，没有采集，后面所有的分析、建模、可视化都是空中楼阁。

1.1 数据采集的定义

数据采集（Data Collection），是指从各种数据源获取原始数据的过程。这些数据源可以是传感器、数据库、网页、日志文件、API接口，甚至是人工录入。

我个人习惯把数据采集分成三个层次：

• 信号层：物理世界到电信号的转换，比如温度传感器把温度变成电压值
• 记录层：把信号变成结构化或半结构化的记录，比如CSV文件、JSON报文
• 传输层：把记录从采集点送到存储或处理系统，比如通过MQTT、Kafka

嗯，这里要注意，很多人只关注传输层，忽略了信号层的精度问题。我在项目中遇到过，一个温度传感器因为线缆老化，采集到的数据漂移了3度，整整跑了一个月才发现。

1.2 数据采集的重要性

为什么我们要花一整门课来讲数据采集？原因很简单：数据质量的天花板，在采集阶段就定死了。

我举个例子。之前有个做电商推荐的朋友，他们团队花了大半年优化算法，结果推荐效果一直上不去。最后排查发现，用户行为采集的埋点代码有bug，30%的点击事件根本没上报。算法再牛，也架不住数据是残的。

数据采集的重要性体现在这几个方面：

维度	说明	真实影响
完整性	采集是否覆盖了所有需要的数据源	缺失关键字段，分析结论可能完全相反
准确性	采集到的数据是否真实反映客观事实	误差累积，模型预测偏差越来越大
时效性	数据从产生到可用的延迟	金融交易延迟1秒，可能损失百万
一致性	不同来源的数据能否对齐	同一用户在不同系统里ID不同，画像就乱了

1.3 数据采集的应用场景

数据采集的应用场景非常广。我挑三个最典型的来说，分别是电商、金融和物联网。

电商场景

电商是数据采集最密集的行业之一。用户从打开APP到下单，每一步都在产生数据。

• 用户行为采集：页面浏览、点击、停留时长、加购、收藏
• 交易数据采集：订单信息、支付流水、物流状态
• 商品数据采集：价格变动、库存变化、评价内容
• 日志数据采集：服务器访问日志、接口调用日志

我记得有个电商客户，他们想分析用户流失原因。结果发现，用户从搜索到下单的路径上，有3个关键页面的埋点根本没做。这就是典型的采集方案设计遗漏。

金融场景

金融行业对数据采集的要求极高，尤其是实时性和安全性。

子场景	采集内容	关键要求
交易监控	股票/期货行情、订单簿、成交记录	毫秒级延迟、不丢数据
风控系统	用户设备指纹、操作行为、交易特征	高并发、实时计算
合规审计	操作日志、通讯记录、审批流程	不可篡改、长期存储

为什么会这样？因为金融数据直接跟钱挂钩。我曾经帮一家券商做行情采集方案，他们要求从交易所到交易系统的全链路延迟不超过5毫秒。为了这个目标，我们不得不把采集程序直接跑在FPGA上。

物联网场景

物联网的数据采集，特点是设备多、协议杂、环境差。

• 设备数据：温度、湿度、压力、振动、电流
• 位置数据：GPS坐标、基站定位、蓝牙信标
• 状态数据：设备在线/离线、电量、信号强度
• 事件数据：告警触发、阈值超限、设备重启

嗯，这里有个坑。物联网设备经常断连，数据采集方案必须考虑离线缓存和断点续传。我之前做过一个智慧农业项目，田里的传感器用的是2G网络，信号时好时坏。如果不做本地缓存，数据丢失率能到40%。

1.4 数据采集的伦理与法律问题

这部分很多人不重视，但恰恰是最容易出事的。我见过不止一个项目，因为数据采集不合规，被罚到项目直接停掉。

核心要关注这几个方面：

• 用户知情权：采集什么数据、用来干什么，必须明确告知用户
• 数据最小化：只采集业务必需的数据，不要过度采集
• 存储期限：数据不能无限期保存，要有明确的销毁策略
• 跨境传输：涉及个人数据跨境，必须符合当地法规

国内主要遵循《个人信息保护法》和《数据安全法》。欧盟有GDPR，美国各州也有自己的规定。做全球化业务时，数据采集方案必须适配不同地区的法律要求。

我举个例子。之前有个做跨境电商的客户，他们在采集用户行为数据时，默认把所有人的数据都传回国内服务器。结果欧洲用户的数据触发了GDPR的跨境传输条款，被罚了200万欧元。这就是典型的采集方案设计时没考虑法律合规。

本章知识体系

下面这张图，把本章的核心知识点串起来了。你可以把它当作整个数据采集课程的导航图。

这张图把本章的四个核心模块——定义、重要性、应用场景、伦理法律——以及它们各自的子知识点都展示出来了。你可以把它当作整个数据采集课程的导航图。后面的章节，我们会逐一深入每个模块的技术细节。