一、数据录制概述：从零开始，把世界“存”下来
大家好，我是老张。今天咱们聊聊数据录制。
说白了，数据录制就是把真实世界里的各种信号——图像、声音、位置、速度、温度——统统变成计算机能读懂的二进制文件。听起来简单？嗯，但这里面的门道可不少。
我刚开始接触这个领域时，以为就是拿个硬盘接上传感器，按个“录制”按钮就完事了。结果呢？第一次录出来的数据，回放时发现时间戳全乱了，传感器之间的数据对不上，气得我差点把机器砸了。从那以后，我才真正开始认真研究数据录制的门道。
1.1 什么是数据录制？
数据录制，本质上是一个“采集-编码-存储”的过程。
你想想看，自动驾驶汽车在路上跑，摄像头每秒拍30帧画面，激光雷达每秒转10圈，GPS每秒更新100次位置。这些数据如果不录下来，车一停就全没了。录下来，才能拿回去分析、调试、训练模型。
我个人习惯把数据录制分成三个层次：
- 原始数据录制：传感器直接输出的二进制流，不经过任何处理。比如摄像头拍的RAW图、激光雷达的点云数据。
- 结构化数据录制：经过初步解析和同步的数据。比如把图像、点云、GPS时间戳对齐后，打包成一条记录。
- 标注数据录制：在结构化数据基础上，加上人工或自动标注。比如给每张图里的行人画个框，标上“行人”。
核心要点：数据录制的质量，直接决定了后续回放和分析的效果。录进去的是垃圾，回放出来的只能是更垃圾。
1.2 数据录制的应用场景
数据录制不是某个领域的专利。我这些年接触过的项目，几乎每个行业都有它的影子。
自动驾驶
这是数据录制最“卷”的领域。一辆自动驾驶测试车，身上挂的传感器少说十几个：
- 6-8个摄像头（前视、后视、环视）
- 1-3个激光雷达
- 毫米波雷达
- GPS+IMU组合导航
- 轮速传感器
- 方向盘转角传感器
这些传感器同时工作，每秒产生的数据量轻松超过1GB。我参与过一个项目，车队有50辆车，每天跑8小时，一天录下来的数据量是——你猜多少？1.4PB。对，你没看错，是PB级别。
我的经验：自动驾驶数据录制最头疼的不是数据量大，而是时间同步。我曾经遇到过激光雷达和摄像头的时间戳差了50毫秒，结果回放时发现“车已经拐弯了，摄像头才拍到直行”，这种数据根本没法用。
机器人
机器人领域的数据录制，和自动驾驶有相似之处，但也有自己的特点。
工业机器人通常录制的是关节角度、力矩、末端执行器的位姿。移动机器人则更关注环境感知数据。我记得有个做仓储机器人的客户，他们最头疼的是——机器人在地库里跑，GPS信号全无，全靠激光SLAM定位。录下来的数据如果IMU标定参数不对，回放时机器人直接“撞墙”。
机器人数据录制的一个特殊要求是低延迟。工业场景下，控制周期通常是1毫秒甚至更短。录制系统如果引入超过100微秒的延迟，就会影响机器人的实时控制。
IoT（物联网）
IoT的数据录制，和自动驾驶、机器人完全不同。IoT设备通常资源受限——CPU弱、内存小、存储空间有限。
我做过一个智慧农业的项目，田里放了上千个传感器节点，每个节点每5分钟上报一次温度、湿度、光照数据。这种场景下，数据录制的挑战不是“怎么录得快”，而是“怎么录得省”——省带宽、省存储、省电。
IoT数据录制常用的策略是：
- 边缘录制：在设备端先做简单处理，只上传变化的数据
- 压缩传输：用轻量级压缩算法（比如LZ4）减少网络开销
- 断点续传：网络不稳定时，数据先存本地，等网络恢复再上传
注意：IoT场景下，千万别把所有数据都往云端传。我曾经见过一个项目，所有传感器原始数据全传云端，一个月后云存储费用比设备成本还高。后来改成边缘处理+只传关键数据，成本降了90%。
1.3 数据录制的基本流程
不管什么场景，数据录制的基本流程都差不多。我把它总结成五个步骤：
- 传感器配置与标定：确定用什么传感器、装在哪里、参数怎么设
- 数据采集：从传感器读取原始数据
- 数据同步：把不同传感器的数据按时间对齐
- 数据编码与压缩：把原始数据转成标准格式，必要时压缩
- 数据存储：写入磁盘、SSD或云端
下面这张图，是我自己画的数据录制流程框架，你看一眼就明白了：
这张图里，我特意加了一条从“数据存储”回到“传感器配置”的虚线。为什么？因为实际项目中，你录完一批数据，回放一看发现有问题——比如某个传感器没录上、时间戳对不齐——就得回去重新配置传感器，再录一遍。这是个迭代过程，不是一次搞定的。
具体到每个步骤，我再说几个关键点：
传感器配置：别小看这一步。我见过太多人，传感器买回来直接接上就开录。结果录出来的数据，要么分辨率不对，要么帧率不匹配，要么触发方式错了。我的习惯是：先写一个传感器自检脚本，录5秒钟数据，回放看看效果，确认没问题了再正式开录。
数据采集：这里有个坑——缓冲区大小。如果传感器数据来得太快，而写入磁盘的速度跟不上，缓冲区就会溢出，数据就丢了。我曾经在录激光雷达数据时遇到过这个问题，后来把缓冲区从64KB调到1MB，问题解决了。
数据同步：这是整个流程里最容易被忽视、也最容易出问题的一环。不同传感器有自己的时钟，时间长了就会漂移。我的做法是：所有传感器都用同一个GPS时钟源做硬件同步，精度能到微秒级。
编码与压缩：别盲目追求高压缩比。压缩比越高，解压越慢，回放时的CPU开销越大。自动驾驶场景我一般用LZ4，压缩比2:1左右，但解压速度极快，不影响实时回放。
数据存储：文件命名和目录结构一定要规范。我吃过这个亏——录了三个月的数据，文件名全是“data_001.bin”、“data_002.bin”这种，后来想找某一天某个路段的数据，翻了一整天。现在我的命名规则是：日期_场景_传感器类型_序号，比如 20250115_高速_激光雷达_001.bin。
避坑指南：我曾经在录数据时，硬盘突然写满了，系统直接崩溃，前面录了2小时的数据全丢了。后来我加了一个磁盘空间监控脚本，剩余空间低于10%时自动报警，低于5%时自动停止录制并保存已有数据。这个脚本救了我好几次。
好了，数据录制的基本概念就讲到这里。记住一句话：录数据不是目的，录出能用的数据才是目的。下一章咱们聊聊数据格式的选择——ROS bag、Mcap、自定义格式，到底该用哪个？
可可精品资料库