📚 课程目录第4章标注任务建模

4. 标注任务建模

标注任务建模是把“想让人工判断什么”转化为“系统可下发、可追踪、可验收”的工程对象。它决定了后续任务编排、质检抽检、审核闭环能否自动化运转。一个建模良好的任务，应同时回答五个问题：标注什么、依据什么规范、输出什么标签、样本如何分配、任务如何复用。本章围绕这五个维度展开。

一、核心原理：任务定义是标注闭环的“契约”

任务定义（Task Definition）是标注方与需求方之间的契约。它必须明确输入单元、输出结构、判定边界与验收标准。输入单元可以是单张图片、一段文本、一条音频片段或一个视频时间窗；输出结构则决定标注结果是分类值、多标签集合、序列标注、边界框还是结构化 JSON。

任务定义不清晰，会直接导致三类问题：标注员理解漂移、质检无法判定对错、审核环节反复返工。因此任务定义应包含：任务ID、任务类型、输入Schema、输出Schema、判定规则、边界案例说明、验收阈值。其中输入输出Schema建议用机器可读格式描述，便于平台自动校验。

任务定义的最小可用字段：task_id、task_type、input_schema、output_schema、guideline_ref、acceptance_rule、priority、deadline。

二、标注规范结构化：从自然语言到可执行规则

标注规范（Guideline）常以文档形式存在，但纯自然语言规范难以被系统执行。结构化规范的目标是把“人读得懂”转化为“机器可校验、人可对照”。结构化规范通常包含四层：标签定义层、判定规则层、边界案例层、质检规则层。

标签定义层描述每个标签的语义与正反例；判定规则层用条件表达式描述“什么情况下打什么标签”；边界案例层收录易混淆样本及裁决结论；质检规则层定义抽检比例、一致性阈值与驳回条件。结构化后，规范可被平台解析为校验器，在提交时即时提示冲突。

{
  "label": "contains_pii",
  "definition": "文本中包含可识别个人身份的信息",
  "positive_examples": ["身份证号 110...", "手机号 138..."],
  "negative_examples": ["订单号 20240101"],
  "boundary_cases": [
    {"case": "邮箱前缀为姓名", "decision": "positive"}
  ],
  "quality_rule": {"min_agreement": 0.85, "sample_rate": 0.2}
}

三、标签体系设计：层级、互斥与可扩展

标签体系设计要解决三个矛盾：覆盖度与简洁性、互斥性与多标签、稳定性与可扩展性。常见结构包括扁平标签集、层级标签树和维度组合标签。层级标签树适合类别体系复杂的场景，如电商商品分类；维度组合标签适合多属性并存的场景，如“情感+主题+紧急度”。

设计时应遵循：同级标签尽量互斥；允许多标签时明确组合规则；预留“其他/未知”兜底标签；标签命名使用稳定英文ID，展示名可本地化。标签体系一旦上线，变更需走版本管理，避免历史数据语义漂移。

设计维度	扁平标签集	层级标签树	维度组合标签
适用场景	简单分类	复杂类别体系	多属性并存
互斥性	强	同层互斥	维度内互斥
扩展成本	低	中	高
质检难度	低	中	高

四、样本分配策略与任务模板化

样本分配策略决定“谁标什么、标多少、如何均衡”。常见策略包括：随机分配、分层抽样、难度分层、专家优先、交叉标注。交叉标注用于计算一致性，通常对高价值或高争议样本设置双标甚至三标。分配时还需考虑标注员能力画像与疲劳控制，避免同一人连续处理高难度样本。

任务模板化是把重复出现的任务结构抽象为可复用模板。模板包含固定的输入输出Schema、规范引用、标签集、分配规则与质检策略。新建任务时只需替换数据集与参数，即可快速下发。模板化能显著降低建模成本，并保证同类任务的一致性。

五、案例场景：内容安全审核任务建模

以内容安全审核为例，任务定义为“判断文本是否包含违规内容”，输出为多标签集合：politics、porn、violence、pii、normal。规范结构化后，每个标签附带正反例与边界案例。标签体系采用维度组合：违规类型 + 严重等级。样本分配采用分层抽样，高风险样本双标，普通样本单标加20%抽检。任务模板化后，新业务线只需替换数据集与阈值即可复用。

模板化不是“一刀切”。不同业务线的判定边界可能不同，模板应允许覆盖规范引用与质检阈值，但保持Schema稳定。

六、误区与复盘

误区一：任务定义只写自然语言。 缺少机器可读Schema，平台无法自动校验，质检只能靠人工。
误区二：标签体系频繁变更。 历史数据语义漂移，模型训练与审核口径不一致。应走版本管理并保留映射关系。
误区三：样本分配只看数量不看难度。 高难度样本集中给少数人，导致疲劳与一致性下降。应按能力画像与难度分层分配。
误区四：模板化后不再维护。 模板需随规范版本同步更新，否则新任务继承旧规则，产生系统性偏差。

复盘时重点检查：任务定义与规范是否一致、标签互斥性是否被破坏、交叉标注一致性是否达标、模板版本是否与当前规范匹配。任何一项不达标，都应先修复建模，再进入下一轮标注。

综上，标注任务建模是标注工程的地基。任务定义明确契约，规范结构化让规则可执行，标签体系保证语义稳定，样本分配策略保障数据质量，任务模板化提升复用效率。五者协同，才能支撑后续的任务编排与人工审核闭环稳定运转。