3、标签口径的定义与规范
标签口径是标注任务中语义边界的书面约定。没有口径规范的标签集，会导致不同标注员对同一数据产生不一致的判断，直接污染训练数据。本节从语义边界定义、规范文档编写、版本管理三个层面建立标签口径的标准化流程。
3.1 定义标签的语义边界
语义边界是指一个标签在真实数据中所覆盖的正例范围、模糊地带和明确反例。定义边界时需回答三个核心问题：
- 包含什么：明确属于该标签的典型样本特征。
- 排除什么：明确不属于该标签的样本特征。
- 边界在哪：定义模糊样本的归属规则（如“置信度低于0.5则归入其他”）。
案例：情感标签“正面”的语义边界定义
- 包含：明确表扬、推荐、满意、感谢等语气；评分≥4星（若存在评分字段）。
- 排除：中性陈述、客观事实、投诉、讽刺、抱怨。
- 边界：同时包含正面和负面信息时，以最后一句情感倾向为准；若无法判断，标记为“中性”。
下表展示三种常见标签类型的边界定义要素：
| 标签类型 | 正例特征 | 反例特征 | 边界规则 |
|---|---|---|---|
| 二分类（是/否） | 明确触发条件 | 未触发或无关 | 缺失值按“否”处理 |
| 多分类（如意图识别） | 唯一匹配的语义簇 | 其他语义簇 | 重叠意图按优先级排序 |
| 序列标注（如实体抽取） | 连续且完整的实体片段 | 非实体词或跨实体边界 | 嵌套实体取最长匹配 |
3.2 编写标签规范文档
标签规范文档是标注团队的操作手册，必须包含以下章节：
- 概述：任务背景、标签体系总览、适用数据范围。
- 标签定义：每个标签的语义边界（包含/排除/边界规则）。
- 标注示例：每个标签至少提供5个正例、3个反例、2个边界案例。
- 特殊规则：缺失值处理、多标签冲突解决、长文本截断策略。
- 质量检查标准：可接受的标注一致性阈值（如Kappa≥0.8）。
文档编写建议：使用表格组织标签定义，每个标签一行，包含“标签名”、“语义边界描述”、“典型正例”、“典型反例”、“边界案例”五列。避免大段文字描述，保持可扫描性。
以下是一个标签规范文档的片段示例（以实体抽取中的“人名”标签为例）：
| 标签名 | 语义边界描述 | 典型正例 | 典型反例 | 边界案例 |
|---|---|---|---|---|
| PER（人名） | 真实人物的全名、姓氏、名字、昵称、别名 | “张三”、“李四”、“Michael” | “公司”、“政府”、“机器人” | “小明”（昵称，标注为PER） |
| ORG（组织） | 公司、机构、团队、政府部门的完整名称 | “阿里巴巴”、“教育部” | “员工”、“部门”（泛指） | “阿里”（简称，标注为ORG） |
3.3 规范文档的版本管理
标签规范文档会随项目迭代而更新。没有版本管理会导致标注历史断裂、模型训练数据口径不一致。推荐使用以下版本管理策略：
- 语义化版本号：主版本号（重大口径变更，如新增/删除标签）、次版本号（边界规则调整）、修订号（示例补充、错别字修正）。
- 变更日志：每次更新必须记录变更日期、变更人、变更内容摘要。
- 文档存储：使用版本控制工具（如Git）管理规范文档，确保可回溯。
常见陷阱：不要直接在标注平台上修改标签描述而不更新规范文档。标注员看到的描述与文档不一致时，会自行猜测边界，导致标注质量下降。
版本管理的核心原则是可追溯、可回滚、可对比。每次标注任务启动前，确认当前使用的规范文档版本号，并在标注结果中记录该版本号，以便后续分析口径变化对模型效果的影响。
版本号示例
- v1.0.0：初始版本，包含10个标签的基础定义。
- v1.1.0：调整“中性”标签的边界规则，增加3个边界案例。
- v2.0.0：新增“讽刺”标签，原有“负面”标签的边界随之调整。