📚 课程目录第1章药物研发数据整合工程导论

1. 药物研发数据整合工程导论

药物研发从靶点发现到临床候选化合物确定，通常要跨越靶点验证、先导化合物筛选、构效关系优化、成药性评价、动物药代与毒理等多个阶段。每个阶段都会产生不同形态的数据：分子结构、活性测定值、细胞表型、ADME参数、动物实验记录、批次与样品信息。这些数据往往分散在电子表格、仪器软件、LIMS、ELN和外包报告里，字段命名、单位、浓度表示和实验条件各不相同。所谓药物研发数据整合工程，就是把这些异构、分散、语义不一致的分子数据与实验数据，通过可重复的工程化流程，转化为结构统一、可追溯、可计算、可复用的数据资产，并支撑建模、决策与自动化分析。

它要解决的核心问题不是“把文件放在一起”，而是让“分子—实验—结果—条件”四类信息在语义上对齐。例如同一条IC50记录，必须能回答：测的是哪个化合物（结构标识）、哪个靶点或细胞系、什么实验条件（浓度、时间、缓冲体系）、结果值及单位、数据来源与置信度。缺少任何一环，这条数据在后续建模中都可能变成噪声。

整合的目标与边界

数据整合工程的目标可以概括为四点：唯一标识（每个分子、每个实验、每个样品有稳定ID）、语义一致（字段、单位、术语按受控词表统一）、可追溯（从原始记录到整合结果可回溯）、可计算（能直接进入QSAR、机器学习或报表）。边界同样重要：整合工程不替代实验判断，也不负责解释生物学机制，它提供的是可信、可复现的数据底座。

主要挑战

实际工作中，挑战通常集中在以下方面：

分子标识不统一：同一化合物在不同项目里可能以内部编号、SMILES、InChIKey或供应商目录号出现，甚至存在盐型、立体化学差异。
实验数据异构：活性单位有nM、μM、μg/mL，浓度响应曲线有单点、多浓度、重复孔，终点有IC50、EC50、Ki、% inhibition。
条件缺失：缺少细胞系、代次、血清浓度、孵育时间等关键上下文，导致数据不可比。
来源与版本混乱：外包报告、历史Excel、仪器导出文件并存，更新后旧值仍被引用。
质量参差：异常值、重复记录、单位误填、阴性结果缺失，都会影响模型。

因此，整合工程必须把“清洗、标准化、关联、校验、版本管理”做成可重复的流水线，而不是一次性手工整理。

整体技术栈

一个可落地的技术栈通常分为五层。最底层是数据源层：ELN、LIMS、仪器导出、外包报告、公共数据库。其上是采集与解析层：用脚本或连接器读取CSV、SDF、XML、JSON，抽取分子结构与实验记录。第三层是标准化与标识层：用RDKit等工具解析SMILES、生成InChIKey、统一单位与术语、映射受控词表。第四层是存储与关联层：关系库存实验元数据，分子库或图库存结构关系，数据湖保存原始文件。最上层是服务与应用层：提供API、数据集版本、建模输入和可视化看板。

下面这张图展示了从原始数据到可用数据资产的信号与数据流关系，重点体现“分子标识”和“实验上下文”如何在整合过程中被对齐。

一个最小可运行的整合示例

假设我们拿到一份外包活性报告，字段为：compound_code, target, IC50, unit, cell_line, incubation_h。其中IC50列混有nM和μM，compound_code与内部分子表通过SMILES关联。整合流程可以这样实现：

# 示例：读取原始报告并标准化（伪代码，参数为教学假设）
raw = read_csv("outsourced_ic50.csv")
# 1) 单位统一为nM
raw["IC50_nM"] = raw.apply(
    lambda r: r["IC50"] * 1000 if r["unit"] == "uM" else r["IC50"], axis=1)
# 2) 分子标识映射：compound_code -> InChIKey
mol_map = load_molecule_table()  # 含 compound_code, smiles, inchi_key
merged = raw.merge(mol_map, on="compound_code", how="left")
# 3) 实验上下文补全与校验
merged["assay_key"] = merged["target"] + "|" + merged["cell_line"] + "|" + merged["incubation_h"].astype(str)
# 4) 输出整合表
merged[["inchi_key", "assay_key", "IC50_nM", "source_file"]].to_csv("integrated_ic50.csv", index=False)

运行后应检查三类结果：映射失败率（inchi_key为空的比例，示例中若超过5%需排查编号错误）、单位异常（IC50_nM是否出现负值或极端值）、重复记录（同一inchi_key与assay_key是否有多条冲突值）。这些检查决定了整合结果能否直接用于建模。

教学建议：在真实项目中，先建立“分子主表”和“实验主表”两个基础表，再让所有来源数据向它们对齐。这样比逐文件清洗更稳定，也更容易做版本管理。

注意：整合不是简单合并。若同一化合物在同一实验条件下出现多个差异较大的IC50值，应保留原始记录并标注来源与批次，而不是直接取平均。取平均会掩盖实验条件差异，可能引入系统性偏差。

如何判断整合是否成功

可以用一组可观察指标来验收：分子标识覆盖率、实验上下文完整率、单位一致率、重复冲突率、数据血缘可追溯率。以示例数据为例，若100条记录中95条成功映射InChIKey、90条具备完整细胞系与孵育时间、单位全部归一为nM，则说明整合流水线基本可用；剩余问题应进入异常清单，由实验或项目人员确认，而不是在整合层静默丢弃。

从工程视角看，药物研发数据整合的价值在于把“人找数据、人判断口径”转变为“系统按规则对齐、按版本交付”。它不直接产生新分子，但决定了后续建模、筛选和决策能否建立在可信数据之上。掌握分子标识、实验上下文、单位归一、来源追溯这四条主线，就抓住了整门课程的核心脉络。