1. 临床数据ETL与质量控制工程导论
临床研究的数据从来不是“天生干净”的。一次多中心Ⅲ期试验，可能同时存在电子病历（EMR）导出的就诊记录、电子数据采集系统（EDC）录入的病例报告表（CRF）、中心实验室的LIS检验结果、中心药房的发药记录、可穿戴设备的时序数据，以及影像归档系统（PACS）中的DICOM文件。这些数据在格式、粒度、编码体系、时间基准和更新频率上各不相同，却必须在统计分析前汇聚成一份可追溯、可审计、可复现的分析数据集。临床数据ETL与质量控制工程，正是解决这一问题的工程学科。
课程目标
本课程的目标不是教会读者写几条SQL，而是建立一套完整的工程能力：能够识别临床数据的来源与类型差异，设计从原始数据到分析数据集的转换链路，在链路的关键节点嵌入质量控制，并让整条链路满足GCP（药物临床试验质量管理规范）与21 CFR Part 11对数据完整性、稽查轨迹和可追溯性的要求。学完本课程，读者应当能够独立完成一份数据转换规范（Specification）的编写，实现可重复执行的ETL作业，并针对常见的数据质量问题设计检测规则与处置流程。
临床数据来源与类型
按数据产生的环节，临床数据大致可分为四类。第一类是受试者直接相关数据，包括人口学信息、生命体征、不良事件、合并用药、疗效评价等，主要来自EDC系统的CRF表单，通常以结构化字段存储，但自由文本字段（如不良事件描述）需要额外处理。第二类是中心实验室与检查数据，如血常规、生化、凝血、尿检，以及心电图、超声、影像结果，这类数据往往以固定宽度的文本文件、CSV或专有格式从LIS/RIS导出，编码体系（如LOINC、本地检验项目码）需要映射。第三类是外部与第三方数据，包括中心药房的药物发放与回收记录、随机化系统的分配结果、独立终点裁定委员会的裁定结论，这类数据通常以定期传输的批量文件形式到达。第四类是设备与电子源数据，如可穿戴设备的步数、心率时序数据，或eSource系统直接采集的原始记录，其特点是数据量大、时间戳密集、需要降采样或窗口聚合。
从数据类型看，临床数据又可分为结构化数值、分类编码、日期时间、自由文本和文件型数据。不同数据类型对ETL的要求差异很大：数值型需要关注单位换算与有效数字，分类编码需要关注受控术语版本，日期时间需要关注时区与部分日期（如仅知“2023-05”而不知具体日）的处理，自由文本需要关注编码（MedDRA、WHO Drug）与脱敏，文件型数据则需要关注存储路径、校验和与版本管理。
ETL在临床研究中的角色
在临床研究中，ETL不是简单的“搬数据”，而是承担三重角色。第一是语义翻译器：把不同系统对同一概念的不同表达统一起来。例如，EDC中“性别”字段可能存为“M/F”，LIS中存为“1/2”，而分析数据集要求“M/F/U”。第二是质量守门人：在数据进入分析集之前拦截明显错误，如年龄为负、访视日期早于知情同意日期、实验室值超出可报告范围。第三是可追溯性的载体：每一个派生变量都必须能回答“它从哪个原始字段、经过什么规则、在哪个版本下计算而来”。
一个常见的教学示例是血红蛋白（HGB）的单位统一。假设中心实验室A以g/L报告，中心实验室B以g/dL报告，而分析数据集要求g/L。转换规则为：若原始单位为g/dL，则乘以10；若为g/L，则保持不变。同时需要设置合理范围检查：成年男性HGB参考范围约130–175 g/L，若转换后出现<50或>250 g/L，应标记为可疑值并触发人工核查。这个例子虽小，却完整体现了“映射—换算—范围校验—异常处置”的ETL闭环。
质量控制工程的核心原则
质量控制工程的核心原则可以概括为四条。第一，预防优于纠正：在数据采集端就通过EDC的编辑检查（Edit Check）拦截明显错误，比在分析前才发现要节省大量成本。第二，规则可执行、可验证：每一条QC规则都应当能写成明确的判断表达式，并给出通过/不通过/需人工复核三种结果，而不是模糊的“看起来不对”。第三，异常必须闭环：发现异常后要有明确的处置路径——是数据澄清（Query）、规则修正，还是确认后接受并记录理由。第四，全程留痕：任何对数据的修改都必须记录操作者、时间、原值、新值和原因，满足稽查轨迹要求。
整体技术栈概览
临床数据ETL的技术栈通常包含以下层次。数据存储层：原始数据区（Landing Zone）保留不可变的原始文件，清洗区（Staging）存放初步解析后的表，分析区（Analysis）存放最终数据集。处理层：可用SQL、Python（pandas、polars）、SAS或专用ETL工具（如dbt、Informatica）实现转换逻辑。调度层：用Airflow、Control-M或简单的cron管理作业依赖与重跑。质量控制层：规则引擎或自研脚本，输出QC报告与异常清单。元数据与审计层：记录数据字典、映射规范、版本信息和稽查轨迹。
对于初学者，建议从“Python + SQL + 版本控制”的最小组合起步：用Python读取原始文件并做初步解析，用SQL完成表间连接与聚合，用Git管理转换脚本和映射表，用一份Markdown或Excel维护数据字典。随着项目复杂度上升，再逐步引入调度工具和规则引擎。关键不在于工具多先进，而在于整条链路是否可重复、可追溯、可审计。