2. 生物实验数据特征分析

生物实验数据与常规业务数据最大的差异，在于它同时具备“多模态、高维度、大体积、长周期、强关联”五个特征。理解这些特征，是设计协同平台存储、计算与治理策略的前提。本节围绕高通量测序、影像、质谱三类主流数据，从类型、格式、规模到生命周期管理需求逐层展开。

一、三类主流数据的类型与格式

高通量测序（NGS）数据是典型的“文本+二进制”混合体。原始下机数据为 FASTQ，每条 read 由四行组成：序列标识、碱基序列、分隔符、质量值字符串。质量值采用 Phred 编码，Q30 表示单碱基错误率 0.1%。FASTQ 经比对后产生 SAM/BAM（二进制压缩版），再经变异检测得到 VCF。一个 30× 全基因组样本的 FASTQ 约 90–120 GB，BAM 约 60–80 GB，VCF 仅几十 MB——同一份生物学信息在不同阶段体积相差三个数量级，这正是生命周期分层存储的直接依据。

影像数据以像素矩阵为核心。病理全切片 WSI 常用 SVS、NDPI 格式，单张可达 1–4 GB，采用金字塔多分辨率结构；显微图像多为 TIFF/OME-TIFF，携带通道、Z 轴、时间序列等元数据；流式细胞术输出 FCS 3.1，本质是事件列表而非图像。影像的关键特征是“像素+元数据”强绑定，元数据丢失会导致图像无法解释。

质谱数据记录质荷比 m/z 与强度。原始文件为厂商私有格式（.raw、.wiff、.d），经转换得到开放的 mzML/mzXML；定量结果常输出为 mzTab 或 CSV。蛋白质组学单次 DDA 运行约 1–5 GB，代谢组学靶向检测则小得多。质谱数据的核心是“谱图+采集方法+色谱条件”三者不可分割。

二、规模特征与存储分层

三类数据的规模量级差异显著，但共同规律是“原始数据远大于结果数据”。以某肿瘤研究项目为例：50 例 WGS 样本的 FASTQ 合计约 5 TB，比对后 BAM 约 3.5 TB，最终 VCF 合计不足 2 GB；配套的 200 张 WSI 约 400 GB；质谱原始文件约 300 GB。项目总原始数据接近 6 TB，而分析结论数据不到 10 GB。

这一比例决定了存储必须分层：热层存放近 30 天内频繁访问的 BAM、mzML 和正在分析的 WSI 切片，使用高速 SSD；温层存放 3–12 个月的低频访问数据，使用大容量 HDD 或对象存储；冷层存放超过 1 年的 FASTQ 原始数据和已完成项目的归档，使用低成本对象存储或磁带。分层策略应基于访问频率而非单纯时间，避免“一刀切”导致热层膨胀。

三、生命周期管理需求

生物数据的生命周期通常跨越“采集—质控—分析—共享—归档—销毁”六个阶段，每个阶段对平台提出不同要求。

• 采集阶段：需保证原始文件完整性，记录仪器型号、试剂批号、操作人、时间戳。建议对 FASTQ、WSI、.raw 计算 MD5 或 SHA-256 校验值，写入元数据库。
• 质控阶段：NGS 关注 Q30、GC 含量、adapter 污染；影像关注对焦质量、染色均匀性；质谱关注质量精度、保留时间漂移。质控不通过的数据应标记而非直接删除，保留追溯可能。
• 分析阶段：中间文件（BAM、mzML）体积大且可重建，应设置自动清理策略，例如比对完成后 90 天删除中间 BAM，仅保留 VCF 和日志。
• 共享阶段：涉及人类遗传资源的数据需脱敏，VCF 应去除样本标识或使用受控访问；影像需去除 PHI 信息。共享副本应独立存储，避免影响原始数据。
• 归档阶段：按项目或课题打包，附带元数据清单和校验值。归档格式优先选择开放标准（VCF、mzML、OME-TIFF），避免厂商私有格式导致未来无法读取。
• 销毁阶段：依据伦理批件和数据管理计划执行，销毁记录需留存审计。

四、元数据：贯穿生命周期的纽带

三类数据的格式各异，但元数据是统一管理的抓手。建议为每个数据对象建立最小元数据集：样本 ID、项目 ID、数据类型、格式、大小、校验值、采集时间、仪器/设备、处理状态、访问权限、保留期限。元数据应随数据一起迁移，而不是分散在文件夹命名或 Excel 中。当元数据完整时，平台才能自动执行分层、清理、共享和归档；当元数据缺失时，再大的存储也只是“数据沼泽”。

综上，生物实验数据的特征分析最终要落到三个可执行判断：格式是否开放可解析、规模是否匹配分层策略、元数据是否足以支撑生命周期决策。这三条也是后续平台存储引擎、计算调度和权限模块设计的直接输入。