4. 非结构化文档的采集：多源数据接入
质保记录移交的核心难点在于：大量关键信息以非结构化文档形式散落在不同业务系统中。本章聚焦如何将这些异构数据源中的文档高效、准确地采集并转化为可关联维护计划的结构化信息。
4.1 多源数据接入（ERP、CRM、邮件系统）
质保相关文档通常来自三个主要渠道，每个渠道的数据格式、接入方式和采集策略均有差异：
| 数据源 | 典型文档类型 | 接入方式 | 采集频率 |
|---|---|---|---|
| ERP 系统 | 采购订单、入库质检报告、供应商证书、批次记录 | API 接口 / 数据库视图 / 文件服务器同步 | 实时或每日批量 |
| CRM 系统 | 客户投诉记录、现场服务报告、退换货申请附件 | Webhook / REST API / 定时导出 | 事件驱动或每日 |
| 邮件系统 | 供应商偏差许可、客户批准函、会议纪要附件 | IMAP 协议 / Microsoft Graph API / 邮件归档 | 实时或每小时 |
实战要点：ERP 和 CRM 通常提供结构化元数据（如订单号、日期、供应商代码），这些字段是后续与维护计划关联的关键索引。邮件系统则需额外解析主题行、发件人、附件名等非结构化元数据。
4.2 OCR 识别技术基础
采集到的文档中，大量为扫描件、传真件或图片格式（PDF 中的图片页、TIFF、JPG）。OCR（光学字符识别）是将这些图像中的文字转化为可编辑、可搜索文本的核心技术。
4.2.1 OCR 处理流程
- 图像预处理：去噪、二值化、倾斜校正、分辨率标准化（建议 ≥300 DPI）。
- 版面分析：识别文本区域、表格区域、图片区域，区分段落与标题。
- 字符识别：基于深度学习模型（如 Tesseract 5、PaddleOCR、商业引擎）进行文字行与字符识别。
- 后处理与校对：利用词典、正则表达式、上下文规则修正常见识别错误（如“0”与“O”、“1”与“l”）。
选型建议：对于质保文档中常见的印刷体中文、英文、数字混合场景，推荐使用支持多语言混合识别的引擎。对于手写体（如签名、备注），需额外训练专用模型或采用人工复核。
4.2.2 常见 OCR 引擎对比
| 引擎 | 开源/商业 | 中文识别精度 | 版面分析能力 | 适用场景 |
|---|---|---|---|---|
| Tesseract 5 | 开源 | 中等（需训练） | 基础 | 标准印刷体、英文为主 |
| PaddleOCR | 开源 | 高 | 中等 | 中文、表格、混合排版 |
| 商业引擎（如 ABBYY） | 商业 | 极高 | 强 | 复杂版面、高精度要求 |
4.3 文档分类策略
采集并 OCR 识别后的文档，必须按质保业务维度进行分类，才能与维护计划建立有效关联。分类策略通常采用“规则 + 机器学习”的混合模式。
4.3.1 分类维度设计
- 按文档类型：质检报告、偏差报告、变更通知、供应商证书、客户投诉。
- 按关联对象：设备/资产、物料/批次、供应商、客户项目。
- 按生命周期阶段：来料检验、过程检验、最终检验、售后反馈。
4.3.2 分类实现路径
| 方法 | 原理 | 优点 | 缺点 |
|---|---|---|---|
| 规则分类 | 基于文件名、元数据字段、OCR 文本中的关键词（如“NCR”、“CAPA”） | 快速、可解释、无需训练数据 | 规则维护成本高，泛化能力弱 |
| 文本分类模型 | 使用 TF-IDF + 朴素贝叶斯 / SVM 或 BERT 微调 | 泛化能力强，可处理变体表达 | 需要标注样本，训练周期长 |
| 混合策略 | 规则预过滤 + 模型兜底 | 兼顾速度与准确率 | 系统复杂度较高 |
常见陷阱：仅依赖文件名分类风险极高。同一供应商可能将“偏差报告”命名为“偏差申请单”、“DCN”或“Deviation Note”。建议将 OCR 文本内容作为分类的主要依据，文件名仅作为辅助特征。
4.4 多源采集与分类流程架构
下图展示了从多源数据接入、OCR 识别到文档分类的完整数据流，以及各环节的输出产物。
4.5 实战案例：邮件附件自动采集与分类
某汽车零部件供应商的质保部门每天收到约 200 封包含偏差许可（Deviation Permit）附件的邮件。手动下载、重命名、分类耗时约 3 小时/天。通过以下方案实现自动化：
- 邮件接入：使用 Microsoft Graph API 订阅收件箱，实时捕获主题包含“[DP-]”的邮件。
- 附件提取：自动下载 PDF 附件，保存至临时存储区。
- OCR 识别：调用 PaddleOCR 提取 PDF 中所有文本，重点识别“偏差编号”、“供应商代码”、“有效日期”等字段。
- 规则分类：根据 OCR 文本中出现的“偏差许可”、“Deviation Permit”、“DP-”等关键词，自动归类为“偏差报告”。
- 关联索引：提取的供应商代码与 ERP 中的供应商主数据匹配，偏差编号与维护计划中的偏差跟踪号关联。
效果：采集与分类时间从 3 小时降至 15 分钟，分类准确率达到 92%（人工复核后提升至 98%），为后续维护计划自动关联奠定了数据基础。