查询理解与词权重
章节定位：查询理解是搜索引擎的「第一道关卡」，直接决定后续召回与排序的质量。本章聚焦分词、实体识别、词权重计算、意图分类与改写的核心技术选型、工业实践与面试高频考察点。
查询理解子任务全景
| 子任务 | 核心技术 | 评估指标 | 工业实践关键点 |
|---|---|---|---|
| 分词 | 词典 + CRF / BERT | 准确率、召回率 | 领域词典维护、OOV处理 |
| 实体识别 | BERT + CRF | 精确率、召回率、F1 | 实体链接、歧义消解 |
| 词权重计算 | TF-IDF / BM25 / 模型方法 | NDCG、MAP | 线上实时计算、特征工程 |
| 意图分类 | TextCNN / FastText | 准确率、覆盖率 | 多意图处理、冷启动 |
| 查询改写 | 规则 + Seq2Seq | 点击率、转化率 | 改写风险控制、A/B测试 |
▎查询理解处理流程框架 —— 面试回答的完整链条
问答一 · 分词与实体识别
面试问题
请说明搜索引擎中中文分词与命名实体识别的技术选型及优化策略。
面试官考察点
是否掌握主流分词/实体识别方案（词典/CRF/BERT），能否平衡精度与召回，是否理解领域适配与工程落地难点。
回答框架
- 技术选型：说明基础方案（词典+CRF）与升级方案（BERT+CRF）的适用场景
- 精度优化：如何处理歧义、未登录词（OOV）以及领域术语
- 工程实践：词典增量更新、模型蒸馏、线上推理延迟控制
示例回答
我们采用词典+BiLSTM-CRF分词，词典保证领域术语准确，模型解决歧义。实体识别用BERT+CRF，品牌型号等高频实体F1达96%。通过增量学习更新词典，并设计实体链接消除歧义，OOV召回率提升12%。
可能追问
如何处理未登录词？OOV问题具体怎么优化？分词错误对后续召回有多大影响？实体链接失败如何兜底？
避坑提醒