数据采集与传输基础
大家好，我是你们的老朋友。今天咱们聊聊数据采集与传输这块硬骨头。说实话，我刚开始做遥测项目时，觉得传感器接上就能用，传输协议随便选一个就行。结果呢？第一次现场调试就翻车了——数据丢包、延迟高、格式解析出错，搞得我焦头烂额。
后来我明白了，数据采集与传输是整个监控系统的命脉。你想想看，如果源头数据都不可靠，后面再漂亮的可视化界面也是白搭。所以这一章，我把自己踩过的坑、积累的经验，统统倒给你们。
传感器数据采集原理
传感器采集，说白了就是把物理世界的信号变成数字信号。温度、压力、振动、电流……这些物理量通过传感器转换成电信号，再经过ADC（模数转换器）变成我们能处理的数字值。
我在项目中遇到过最头疼的问题，就是采样频率设置不当。有一次做振动监测，我图省事用了默认的1Hz采样率。结果现场设备振动频率是50Hz，采集到的数据完全看不出规律。嗯，这里要注意：采样频率必须满足奈奎斯特定理，至少是信号最高频率的两倍。
- 采样频率 ≥ 2 × 信号最高频率
- 量化位数决定精度（12位 vs 16位）
- 传感器接口类型：模拟量（4-20mA、0-10V）和数字量（I2C、SPI）
另外，传感器校准也很关键。我曾经用过一个温度传感器，出厂标定误差±0.5°C，但实际使用环境有强电磁干扰，误差直接飙到±3°C。后来我加了软件滤波和定期校准，才把精度拉回来。
常见通信协议
数据采集上来之后，怎么传出去？这就涉及到通信协议了。我常用的有三种：MQTT、HTTP、WebSocket。它们各有各的脾气，选对了事半功倍。
MQTT：轻量级消息协议
MQTT是我个人最偏爱的协议，尤其适合物联网场景。它基于发布/订阅模式，消息量小，支持QoS（服务质量）等级，还能在弱网环境下工作。
我记得有一次做远程风电场的监控，网络时好时坏，HTTP请求经常超时。换成MQTT后，数据稳定多了。它的心跳机制能自动重连，丢包率从15%降到了1%以下。
# MQTT发布示例（Python）
import paho.mqtt.client as mqtt
client = mqtt.Client()
client.connect("broker.emqx.io", 1883, 60)
client.publish("sensor/temperature", "25.3", qos=1)
client.disconnect()HTTP：简单但笨重
HTTP协议大家都很熟悉，请求-响应模式，简单直接。但说实话，在实时监控场景下，它有点笨重。每次请求都要建立连接、发送头信息、等待响应，开销不小。
我建议只在以下场景用HTTP：数据上报频率低（比如每小时一次）、对实时性要求不高、或者需要和现有Web系统集成。我曾经在一个项目中用HTTP做实时数据推送，结果服务器被频繁的POST请求打爆了……
WebSocket：全双工通信
WebSocket是我做实时监控时的首选。它建立一次连接后，服务器可以主动推送数据，延迟低、效率高。不像HTTP那样需要客户端轮询。
我做过一个工厂设备监控大屏，用WebSocket推送实时数据。页面打开后，数据就像流水一样刷出来，延迟不到50ms。客户看了直呼过瘾。
// WebSocket客户端示例（JavaScript）
const ws = new WebSocket('ws://localhost:8080');
ws.onmessage = function(event) {
const data = JSON.parse(event.data);
console.log('收到数据:', data);
};数据格式：JSON、CSV、Protobuf
数据传出去了，用什么格式组织？我常用的有三种：JSON、CSV、Protobuf。它们各有千秋，选型要看具体场景。
| 格式 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| JSON | 可读性强、灵活、广泛支持 | 体积大、解析慢 | Web应用、调试阶段 |
| CSV | 体积小、易于导入Excel | 不支持嵌套、类型信息丢失 | 数据导出、批量处理 |
| Protobuf | 体积极小、解析极快 | 需要定义Schema、可读性差 | 高性能场景、嵌入式设备 |
我个人习惯是：开发调试用JSON，数据归档用CSV，生产环境高性能传输用Protobuf。你想想看，如果每秒传输1000条数据，JSON可能占10KB，Protobuf只有2KB，带宽和延迟差距就出来了。
// Protobuf定义示例
syntax = "proto3";
message SensorData {
int32 id = 1;
float temperature = 2;
float humidity = 3;
int64 timestamp = 4;
}知识体系总览
说了这么多，我画了一张图帮你理清思路。数据采集与传输的核心流程就是：传感器采集 → 协议传输 → 格式编码。每一步都有讲究，选型对了，系统就稳了。
好了，这一章的内容就到这里。数据采集与传输是遥测系统的地基，地基打不牢，房子盖不高。希望我踩过的坑能帮你少走弯路。记住：没有最好的协议和格式，只有最适合你场景的。