📚 课程目录第4章数据完整性原则（ALCOA+）

4. 数据完整性原则（ALCOA+）

做GxP生物信息学，最怕什么？我最怕拿到一份数据，根本说不清它是谁干的、什么时候干的、是不是原始版本。这不光影响结果可重复性，FDA检查时直接给你开483表格。

ALCOA+这套原则，说白了就是把数据从生成到归档的每个环节都钉死。我刚开始接触时也觉得有点教条，直到有回审计老师问我“这个BAM文件到底是谁跑的比对？”，我翻遍日志没找到用户名……嗯，从那以后我每天都检查ALCOA覆盖情况。

4.1 ALCOA核心五要素

ALCOA最早是FDA在1990年代提出的，后来加了几个补充字母（+）。咱们先看最核心的五个字母代表什么。

字母	全称	含义
A	Attributable	可归属：能追溯到具体操作人/系统
L	Legible	清晰可读：人和机器都能看懂
C	Contemporaneous	同步记录：操作发生的同时完成记录
O	Original	原始记录：保存第一版或经认证的副本
A	Accurate	准确无误：数据与真实情况一致

4.2 Attributable — 谁干的？

每条记录都得能定位到具体的人或自动化系统。我见过一个团队用公共账号跑管道，审计根本分不清哪步是谁的操作。后来我建议他们强制要求每个作业提交都带个人LDAP，并在日志里记录userId。

那怎么在生物信息学管道里实现？你可以在每个脚本开头加一行：

echo "Started by: $(whoami) at $(date)" >> $LOG_FILE

其实很多工作流管理系统（如Nextflow、Snakemake）内置了日志头信息。如果你用的是它们，记得打开记录选项。

4.3 Legible — 能不能看清？

说白了就是数据必须持久、清晰。纸质记录的字迹不能潦草，电子记录得用标准格式。我经历过一次教训：某同事用Excel存了质控结果，但单元格里混了特殊字符，换到Linux下解析直接报错。从此我规定所有下游数据统一输出为TSV或JSON，并且列名只能用ASCII字母和下划线。

另外，日志里尽量别用花哨的ANSI颜色转义。审计时看Log会非常痛苦。最好设定输出格式：

[2025-04-08 14:32:18] [INFO] [fastqc] Sample: S123_R1.fastq.gz — PASS
[2025-04-08 14:32:19] [WARN] [fastqc] Sample: S456_R1.fastq.gz — Per base sequence quality flag

4.4 Contemporaneous — 是不是实时记的？

同步记录是很多团队容易忽略的点。你用脚本跑了个比对，过了三天才补写实验笔记，这就不算同步。GxP要求操作发生时立刻记录，不能依赖回忆。

我习惯把每个分析步骤的输入、参数、输出都写进一个自动生成的JSON元数据文件，和结果放在同一个目录。比如：

{
  "pipeline": "rnaseq-3.0",
  "command": "bwa mem -t 8 reference.fa R1.fastq R2.fastq",
  "start_time": "2025-04-08T09:15:00Z",
  "end_time": "2025-04-08T10:02:00Z",
  "input_md5": "a1b2c3d4e5f6...",
  "output_md5": "f6e5d4c3b2a1..."
}

这样就没人能事后篡改时间戳。注意系统的时钟必须同步到可信源（NTP），否则同步记录也白搭。

4.5 Original — 原始的在哪儿？

原始记录是第一手的数据文件，不能丢失也不能被修改。比如测序仪下机的FASTQ就是原始数据，你绝不能直接在原文件上替换内容。如果需要调整（比如接头修剪），必须产生新文件，并保留原始文件只读。

我负责过的一个项目，团队用软链接来“节省空间”，结果原始数据被误删了，所有副本都指向了空。差点就出重大偏差。现在我的做法是把原始数据目录设置成不可写：chmod -R a-w /raw_data/run001，并备份到WORM（一次写入多次读取）存储上。

注意：有些工具会自动修改输入文件。比如BWA索引会写 .amb .ann .bwt 等文件，这些不是原始数据。但如果你把原始FASTA文件当作索引的一部分被覆盖，那就麻烦了。所以原始参考基因组最好单独存放，并做校验。

4.6 Accurate — 数据准不准？

准确不仅仅是数值正确，还包含逻辑一致性。比如你要保证样本ID与临床数据表里的ID一一对应。我曾经遇到一个坑：两个团队分别用 Sample_001 和 S001 表示同一个样本，合并分析时全部错乱了。

怎么保证准确？我常用的三个手段：

校验和：每个文件生成MD5/SHA256，并在传输后比对。
模式验证：用正则或JSON Schema检查ID格式是否符合预期。
交叉比对：至少两个独立来源的数据对碰，比如测序仪记录和LIMS记录。

下面是个简单的脚本片段，对原始FASTQ做校验并打印比对结果：

#!/bin/bash
# 验证所有原始FASTQ的MD5
while read file; do
    original_md5=$(cat ${file}.md5 | awk '{print $1}')
    current_md5=$(md5sum "$file" | awk '{print $1}')
    if [ "$original_md5" != "$current_md5" ]; then
        echo "FAIL: $file"
        exit 1
    fi
done < original_files.txt
echo "ALL PASS"

4.7 ALCOA+ 扩展字母

除了五个基本字母，现在业界还加了这些：Complete（完整）、Consistent（一致）、Enduring（持久）、Available（可用）。我个人觉得最容易被忽略的是Complete——意思是所有数据都要在，不能只保留分析结果而丢掉了日志、参数、中间文件。FDA真要查，会看你的记录链是否闭合。

扩展项	含义	生物信息学场景
Complete	数据及元数据完整无缺	保留管道全部中间文件、日志、配置文件
Consistent	数据在时间序列上逻辑一致	时间戳不能乱序，版本号递增
Enduring	可读性保持到规定保存期限	使用非专有格式（如BAM/CRAM而非专有二进制）
Available	需要时能立即获取	建立索引、归档目录、数据字典

一句话总结：ALCOA+不是一张检查清单，而是设计管道和文档系统时的底层逻辑。你想想看，如果每个文件、每行日志都天然满足这些属性，审计时自然不用担心。

4.8 ALCOA+ 知识框架图

4.9 实战检查清单

每次跑完一条分析管道，我习惯跑个简单的脚本做ALCOA自检。下面是我常用的检查项：

每个输出文件是否都有明确的创建者（日志或元数据中的userId）？
日志是否使用固定格式且无乱码？
操作时间戳与管道开始/结束时间差是否在秒级？
原始数据是否标记为只读并备份？
校验和是否与原始记录一致？
所有配置、版本、依赖是否都归档了（Complete）？
不同批次数据的时间戳是否严格递增（Consistent）？
使用的文件格式是否有官方规范（Enduring）？
是否能在一分钟内定位到任意历史版本的数据（Available）？

我个人习惯把这些步骤写成一个GitHub Actions工作流，每次提交分析结果后自动触发ALCOA检查。如果检查不通过，CI直接fail掉。这样一来，团队内部就养成了“数据完整性优先”的习惯。

好了，这一块儿内容就到这里。下次你再拿到一批测序数据，先别急着跑分析，花十分钟问自己：这组数据ALCOA+全不全？不全就补，补完再跑。相信我，这能帮你省下大量返工和审计解释的时间。