一、非结构化数据概述

大家好，我是这门课的主讲人。做了十几年数据工程，我处理过最多的其实不是整齐的表格，而是那些「乱七八糟」的数据——邮件、日志、图片、视频。今天咱们就来聊聊，到底什么是非结构化数据。

1.1 什么是非结构化数据

非结构化数据，说白了就是没有固定格式、没法直接塞进二维表里的数据。你想想看，一张照片、一段录音、一篇Word文档，它们有统一的列名吗？没有。它们能直接用SQL查询吗？不能。

我记得刚入行时，老板让我分析客户投诉录音。我第一反应是「这怎么分析？」后来才明白，这类数据虽然结构松散，但信息密度极高。我个人的习惯是，把非结构化数据看作「信息矿藏」——挖掘之前，你得先知道它长什么样。

1.2 与结构化数据的区别

很多新手会问：「到底怎么区分？」我一般用三个维度来判断：

对比维度	结构化数据	非结构化数据
存储格式	行与列（表）	文件、对象、流
模式定义	预定义Schema	无固定Schema
查询方式	SQL	全文检索、特征提取
扩展性	垂直扩展为主	水平扩展为主
典型代表	订单表、用户表	邮件、图片、视频

举个例子。你打开一个Excel表格，每一行都是一个客户，每一列都是字段——这是结构化。但如果你把客户的聊天记录、通话录音、手写签名图片放在一起，这就是非结构化。我曾经在一个项目中，需要把这两类数据打通，那才叫真正的挑战。

1.3 常见类型

非结构化数据种类很多，但归纳起来，主要有四大类。我按处理难度排了个序：

文本数据

这是最常见、也是我处理最多的类型。包括：

• 电子邮件、聊天记录
• 技术文档、PDF报告
• 社交媒体帖子、评论
• 日志文件、代码

文本数据看似简单，但脏数据特别多。比如编码问题、拼写错误、HTML标签混入……嗯，后面我们会专门讲怎么清洗。

图像数据

照片、截图、扫描件、医学影像。图像数据的问题在于：分辨率不一、格式混乱、噪声多。我记得有一次做车牌识别项目，摄像头拍到的图片因为反光，一半都是白的——清洗起来相当头疼。

音频数据

录音、电话语音、会议记录。音频数据清洗的核心是降噪和分割。你想想看，一段1小时的会议录音，中间有静音、有重叠说话、有背景噪音，不处理根本没法用。

视频数据

监控视频、教学录像、直播流。视频数据量最大，清洗也最复杂。我建议初学者先从文本和图像入手，视频可以放到后面再啃。

1.4 应用场景

非结构化数据清洗不是纸上谈兵，它直接服务于真实业务。我挑几个典型的场景说说：

• 智能客服：清洗历史聊天记录，去除敏感信息、统一术语，才能训练出好用的对话模型。
• 医疗影像分析：CT、MRI图像需要去噪、标准化尺寸，否则AI模型会误判。
• 舆情监控：从微博、论坛抓取的文本，要去掉广告、重复帖、乱码，才能做情感分析。
• 视频内容审核：清洗视频帧，剔除模糊、过暗、过曝的画面，提高审核准确率。

说白了，清洗是数据工程的「脏活累活」，但也是决定项目成败的关键一步。没有清洗过的非结构化数据，就像没洗过的菜——你敢直接下锅吗？

1.5 本章知识体系

下面这张图，是我自己梳理的非结构化数据知识框架。你可以把它当作整个课程的地图：

从这张图你能看到，非结构化数据清洗不是孤立的技术，它连接着数据类型、应用场景和清洗流程。后面的29章，我们会沿着这条主线一步步深入。