4、数据格式转换：标准数据格式（CSV、HDF5、MAT）、自定义格式处理、数据精度与丢失问题

数据格式转换，说白了就是让不同软件能「听懂」同一份数据。我在仿真项目里见过太多因为格式不对、精度丢了，导致整个模型白跑的情况。嗯，这一节咱们就把这事彻底捋清楚。

4.1 标准数据格式：CSV、HDF5、MAT

先说说最常见的三种标准格式。我个人习惯把它们分成两类：文本型和二进制型。

4.1.1 CSV 格式的坑与处理

CSV 看着简单，其实坑不少。我在项目中遇到过最典型的问题：浮点数精度截断。

# Python 示例：CSV 读写精度控制
import csv
import numpy as np

# 写入时指定精度
data = np.array([1.23456789012345, 2.34567890123456])
with open('output.csv', 'w', newline='') as f:
    writer = csv.writer(f)
    # 保留 15 位有效数字
    writer.writerow(['{:.15e}'.format(x) for x in data])

# 读取时恢复为 float64
with open('output.csv', 'r') as f:
    reader = csv.reader(f)
    restored = [np.float64(val) for val in next(reader)]
print(restored)

4.1.2 HDF5 的高效处理

HDF5 是我处理大规模仿真数据的首选。它支持分层结构，就像文件系统一样，可以组织成组和数据集。

# Python 示例：HDF5 读写
import h5py
import numpy as np

# 写入
with h5py.File('simulation.h5', 'w') as f:
    # 创建组
    grp = f.create_group('results')
    # 写入数据集，指定压缩
    grp.create_dataset('temperature', data=np.random.rand(1000, 1000),
                       compression='gzip', compression_opts=9)
    # 写入属性（元数据）
    grp.attrs['unit'] = 'K'
    grp.attrs['description'] = 'Temperature field at t=0.5s'

# 读取
with h5py.File('simulation.h5', 'r') as f:
    temp = f['results/temperature'][:]
    unit = f['results/temperature'].attrs['unit']
    print(f'Data shape: {temp.shape}, unit: {unit}')

4.1.3 MAT 格式的版本兼容

MAT 格式最大的问题是版本兼容性。MATLAB 从 v7.3 开始改用 HDF5 作为底层格式，但早期版本用的是专有格式。

4.2 自定义格式处理

有时候标准格式不够用，就得自己定义格式。我在做雷达仿真时遇到过这种情况：标准格式没法表达非结构化网格和时变拓扑。

自定义格式的核心原则：自描述。也就是说，文件本身要包含足够的信息，让别人（或者未来的你）能看懂。

# 自定义二进制格式示例
import struct
import numpy as np

class CustomSimData:
    def __init__(self):
        self.magic = b'SIMD'  # 文件标识
        self.version = 1
        self.header_size = 64

    def write(self, filename, data, metadata):
        with open(filename, 'wb') as f:
            # 写入文件头
            f.write(self.magic)
            f.write(struct.pack('I', self.version))
            f.write(struct.pack('I', self.header_size))
            # 写入元数据
            f.write(struct.pack('I', len(metadata)))
            for key, value in metadata.items():
                f.write(key.encode() + b'\x00')
                f.write(str(value).encode() + b'\x00')
            # 写入数据
            f.write(data.tobytes())

    def read(self, filename):
        with open(filename, 'rb') as f:
            magic = f.read(4)
            if magic != self.magic:
                raise ValueError('Invalid file format')
            version = struct.unpack('I', f.read(4))[0]
            header_size = struct.unpack('I', f.read(4))[0]
            # 解析元数据
            metadata = {}
            # ... 解析逻辑
            # 读取数据
            data = np.frombuffer(f.read(), dtype=np.float64)
        return data, metadata

4.3 数据精度与丢失问题

这是整个格式转换里最要命的部分。精度丢失，有时候是悄无声息的。

4.3.1 精度丢失的常见场景

• 类型降级：float64 → float32 → float16，每一步都在丢精度
• 文本转换：浮点数转字符串再转回来，有效数字可能被截断
• 压缩算法：有损压缩（如 JPEG 用于图像）会直接改变数据
• 截断误差：整数溢出、时间戳精度不够

4.3.2 精度控制策略

4.3.3 精度验证方法

怎么知道精度有没有丢？我一般用这招：

# 精度验证脚本
import numpy as np

def check_precision_loss(original, converted, tolerance=1e-12):
    """
    检查精度损失
    original: 原始数据 (numpy array)
    converted: 转换后的数据
    tolerance: 容忍误差
    """
    diff = np.abs(original - converted)
    max_diff = np.max(diff)
    mean_diff = np.mean(diff)
    rel_diff = max_diff / np.max(np.abs(original))

    print(f'最大误差: {max_diff:.2e}')
    print(f'平均误差: {mean_diff:.2e}')
    print(f'最大相对误差: {rel_diff:.2e}')

    if max_diff > tolerance:
        print('⚠️ 精度损失超出容忍范围！')
        return False
    else:
        print('✅ 精度在可接受范围内')
        return True

# 使用示例
original = np.random.rand(1000).astype(np.float64)
converted = original.astype(np.float32).astype(np.float64)
check_precision_loss(original, converted)

4.4 知识结构总览

下面这张图把数据格式转换的核心逻辑串起来了。你想想看，从仿真模型到最终结果，数据要经过多少道「关卡」？

从源数据到最终可用数据，中间要经过格式选择、转换、精度验证三道关。每一关都可能出问题。嗯，这就是为什么我总说「数据格式转换不是小事」。