数据源识别：内部系统数据、外部数据与日志数据
做数据工作这么多年，我有个很深的体会：找数据之前，先搞清楚数据从哪来。你想想看，如果连数据源头都搞错了，后面再花哨的分析都是白搭。
这一章，咱们就聊聊数据源的识别。说白了，就是给你的数据「验明正身」。我习惯把数据源分成三大类：内部系统数据、外部数据、日志数据。每一类都有自己的脾气秉性，咱们一个一个说。
内部系统数据：CRM 与 ERP
内部系统数据，是公司自产自销的数据。最常见的就是 CRM（客户关系管理）和 ERP（企业资源计划）。
CRM 数据，管的是「人」和「关系」。客户信息、销售线索、商机跟进、合同回款……这些都在 CRM 里。我记得有一次，业务部门说「最近客户流失严重」，我第一反应就是去 CRM 里拉数据。一看，果然，三个月没联系的客户占了 40%。
ERP 数据，管的是「物」和「钱」。采购订单、库存台账、生产工单、财务凭证……ERP 的数据更结构化，也更「硬」。我曾在项目里遇到过 ERP 和 CRM 数据对不上的情况——CRM 说合同签了 100 万，ERP 说只收到 80 万。后来一查，是回款分期的字段没同步。
内部数据的特点：
- 数据质量相对可控，有明确的录入规范
- 数据权限敏感，通常需要申请才能访问
- 数据格式统一，但不同系统间存在「数据孤岛」
我的习惯：拿到内部数据后，先做一次「字段摸底」。把 CRM 和 ERP 里同名字段（比如「客户名称」「订单金额」）拉出来对比，看看定义是否一致。这一步能省掉后面 80% 的对账麻烦。
外部数据：公开 API 与爬虫
光靠内部数据，很多时候不够用。比如做竞品分析、市场趋势预测，就得借助外部数据。
公开 API 是最优雅的方式。天气数据、股票行情、社交媒体接口……只要对方提供 API，按文档调就行。我建议优先用 API，因为数据格式规范、更新频率可控。我曾经用某地图 API 做过门店选址分析，效果不错。
爬虫 是备选方案。有些数据没有公开 API，或者 API 限制太多，那就只能爬。但这里有个坑——法律风险。我曾经见过一个团队，爬了竞品网站的数据做分析，结果被发了律师函。所以，爬虫之前一定要确认：
- 网站的 robots.txt 是否允许爬取
- 数据是否涉及个人隐私或商业机密
- 爬取频率是否会影响对方服务器
我曾经踩过的坑：爬虫数据没有做「时效性校验」。爬下来的数据是昨天的，但业务分析需要今天的。结果报告发出去，数据全是错的。现在我的爬虫脚本都会加一个「数据新鲜度检查」步骤。
日志数据：被低估的金矿
日志数据，很多人觉得就是「系统运行记录」，没什么大用。其实不然。日志数据里藏着用户行为、系统性能、异常事件……这些是其他数据源很难替代的。
常见的日志数据包括：
| 日志类型 | 典型内容 | 分析价值 |
|---|---|---|
| Web 访问日志 | IP、URL、状态码、响应时间 | 用户访问路径、页面性能 |
| 应用日志 | 错误堆栈、业务操作记录 | 异常监控、用户行为还原 |
| 数据库日志 | 慢查询、死锁、变更记录 | 性能优化、数据审计 |
| 安全日志 | 登录尝试、权限变更 | 安全审计、入侵检测 |
日志数据有个特点：量大、格式杂。一条日志可能包含几十个字段，但真正有用的就三五个。我个人的做法是：先做「日志降噪」，把无关字段过滤掉，再提取关键信息。
一个小技巧：日志数据的时间戳一定要统一时区。我遇到过好几次，前端日志用 UTC，后端日志用本地时间，结果分析用户行为时，时间线全乱了。现在我的日志采集都会强制转成 UTC+8。
三类数据源的对比
为了让你看得更清楚，我把三类数据源的核心差异整理成了一张表：
| 维度 | 内部系统数据 | 外部数据 | 日志数据 |
|---|---|---|---|
| 数据来源 | 公司内部系统 | 第三方 API / 网页 | 系统运行时产生 |
| 数据格式 | 结构化（表、视图） | JSON / XML / HTML | 半结构化（文本、JSON） |
| 更新频率 | 实时或定时同步 | 取决于 API 限制 | 持续产生 |
| 数据量级 | GB 级 | MB ~ GB 级 | TB 级 |
| 主要挑战 | 数据孤岛、权限 | 法律风险、稳定性 | 噪声大、存储成本高 |
知识体系总览
下面这张图，帮你把本章的知识结构串起来：
如何快速识别数据源
在实际工作中，你可能会面对一堆数据，不知道从哪下手。我总结了一个「三步识别法」：
- 看来源：数据是从哪个系统、哪个接口、哪个文件来的？
- 看格式：是结构化表格、JSON 文本，还是纯日志？
- 看更新方式：是实时推送、定时同步，还是手动导出？
这三步走完，你基本就能判断出数据属于哪一类，以及后续该怎么处理。
举个例子：
你拿到一个文件，叫 order_20250301.log。打开一看，每行都是 JSON 格式，包含 order_id、user_id、amount、timestamp。来源是应用服务器，每小时生成一个文件。
识别结果：日志数据，半结构化，需要解析 JSON 后入库。
嗯，数据源识别这件事，说难不难，说简单也不简单。关键是要养成习惯——拿到数据先问三个问题：从哪来？什么格式？怎么更新？ 这三个问题搞清楚了，后面的路就好走了。