4. 知识表示学习：One-hot编码、分布式表示、TransE模型原理与对比
知识表示学习（Knowledge Representation Learning, KRL）旨在将知识图谱中的实体和关系映射到低维连续向量空间，使得语义相近的实体在向量空间中距离更近。本章从最基础的编码方式出发，逐步深入到经典的平移距离模型 TransE，并通过对比分析帮助您理解不同表示方法的优劣与适用场景。
4.1 One-hot 编码：最直接的离散表示
One-hot 编码是最朴素的实体表示方法。假设知识图谱中有 N 个实体，每个实体用一个 N 维向量表示，其中只有该实体对应的维度为 1，其余维度均为 0。
示例： 假设实体集合为 {北京, 上海, 广州, 深圳}，则：
- 北京 → [1, 0, 0, 0]
- 上海 → [0, 1, 0, 0]
- 广州 → [0, 0, 1, 0]
- 深圳 → [0, 0, 0, 1]
| 特性 | 说明 |
|---|---|
| 维度灾难 | 实体数量 N 极大时，向量维度随之膨胀，存储和计算开销巨大 |
| 语义孤岛 | 任意两个不同实体的向量内积均为 0，无法表达任何语义相似度 |
| 稀疏性 | 每个向量只有一个非零元素，信息密度极低 |
| 无法泛化 | 模型无法从已有实体推断未见实体的表示 |
注意： One-hot 编码在知识图谱中仅适用于极小型数据集或作为理论对比基准，实际工程中几乎不被采用。
4.2 分布式表示：稠密向量的语义空间
分布式表示（Distributed Representation）将每个实体和关系映射到一个低维稠密向量（如 50、100 或 200 维）。向量中的每个维度不再对应某个具体实体，而是编码了实体在多个潜在语义特征上的分布。
- 维度可控： 向量维度远小于实体数量，通常为 50~500 维，显著降低存储成本。
- 语义可计算： 实体间的相似度可通过余弦相似度或欧氏距离直接度量。
- 可泛化： 训练得到的向量能够捕捉实体间的隐含关系，支持链接预测、关系推理等下游任务。
- 代表模型： TransE、TransR、DistMult、ComplEx 等均基于分布式表示。
类比理解： One-hot 像用“身份证号”区分每个人，而分布式表示像用“身高、体重、年龄、职业”等多维特征描述一个人——后者显然更能反映个体之间的相似性。
4.3 TransE 模型原理：基于平移的几何建模
TransE（Translating Embeddings）是知识表示学习中最具影响力的模型之一，由 Bordes 等人于 2013 年提出。其核心思想是：将关系视为头实体到尾实体的平移向量。
对于知识图谱中的三元组 (h, r, t)，TransE 要求：
h + r ≈ t即头实体向量 h 加上关系向量 r，应近似等于尾实体向量 t。模型通过最小化以下基于距离的损失函数来学习嵌入：
L = Σ_{(h,r,t)∈S} Σ_{(h',r,t')∈S'} max(0, γ + d(h+r, t) - d(h'+r, t'))其中：
- S 为正确三元组集合
- S' 为通过替换头或尾实体构造的负样本集合
- d(·,·) 通常为 L1 或 L2 距离
- γ 为间隔超参数（margin）
4.4 三种表示方法对比
| 对比维度 | One-hot 编码 | 分布式表示 | TransE 模型 |
|---|---|---|---|
| 向量维度 | N（实体数量） | k（固定，通常 50~500） | k（固定，通常 50~500） |
| 语义相似度 | 无法度量 | 可度量（余弦/欧氏距离） | 可度量，且支持关系推理 |
| 关系建模 | 不支持 | 需额外设计 | 内建平移机制 |
| 稀疏性 | 极度稀疏 | 稠密 | 稠密 |
| 可扩展性 | 差（维度随实体数线性增长） | 好 | 好 |
| 典型应用 | 理论对比 | 链接预测、推荐系统 | 知识图谱补全、关系推理 |
4.5 TransE 的局限与改进方向
尽管 TransE 简洁高效，但在处理复杂关系类型时存在明显不足：
- 1-N / N-1 / N-N 关系： 当同一头实体通过同一关系连接多个尾实体时，TransE 难以区分它们，因为 h + r 只能逼近一个向量。
- 对称关系： 对于“朋友”“配偶”等对称关系，TransE 要求 h + r ≈ t 且 t + r ≈ h，这会导致 r ≈ 0，失去语义。
- 组合关系： 无法建模关系之间的组合语义（如“父亲”+“父亲”=“祖父”）。
改进模型概览：
- TransH： 引入关系超平面，将实体投影到关系特定超平面上再计算平移。
- TransR： 为每个关系设置独立的投影矩阵，实体和关系在不同空间建模。
- RotatE： 在复数空间中建模关系为旋转操作，能够处理对称、反对称和组合关系。
4.6 实践要点：选择表示方法的决策指南
- 数据规模 < 1000 实体： 可尝试 One-hot + 简单规则，但建议直接使用分布式表示以便后续扩展。
- 关系类型以 1-1 为主： TransE 是高效首选，训练速度快，易于部署。
- 存在大量 1-N / N-N 关系： 优先考虑 TransH 或 TransR，它们能更好地处理复杂映射。
- 需要建模对称/反对称/组合关系： RotatE 在复数空间中的旋转机制更具表现力。
- 工程落地关注推理速度： TransE 及其变体在推理阶段仅需向量加法和距离计算，延迟极低。
推荐实践路径： 从 TransE 入手快速建立基线，然后根据关系类型分布选择改进模型。在工业级知识图谱中，TransE 仍是最常用的基准模型之一。