4、数据收集与预处理：需求数据、成本数据、地理数据、交通数据的获取与清洗方法
智能仓储选址决策的起点并非算法模型，而是高质量的数据资产。选址模型（如重心法、层次分析法、整数规划）的输入参数一旦存在偏差或缺失，输出结果将失去实际指导意义。本章聚焦四类核心数据——需求数据、成本数据、地理数据、交通数据，系统讲解其获取渠道、采集规范、清洗逻辑与质量校验方法，帮助学员建立从“原始数据”到“可用特征”的标准化处理链路。
4.1 需求数据的获取与清洗
核心原理：需求数据决定了仓储网络的服务对象、货量规模与响应时效要求。它包含历史订单数据（订单量、SKU 数量、客户地理坐标）、未来销售预测数据、季节性波动系数以及大客户专项需求。需求数据的粒度直接影响选址模型的精度——以城市为粒度可能掩盖区域差异，以街道为粒度则可能引入过多噪声。
获取渠道与操作流程：
- 内部系统提取：从 ERP（如 SAP、Oracle）、WMS、CRM 中导出近 2-3 年订单明细，字段至少包含：订单日期、客户编码、收货地址、订单行数、重量、体积、金额。
- 销售预测对接：获取企业年度经营计划、市场部销售预测数据，按品类、区域拆分至月度粒度。
- 外部数据补充：对于新市场或新客户，可参考行业报告（如中国仓储与配送协会年度报告）、国家统计局区域消费数据。
| 数据字段 | 来源系统 | 常见问题 | 清洗方法 |
|---|---|---|---|
| 订单日期 | ERP | 格式不统一（20240101 vs 2024-01-01） | 统一为 YYYY-MM-DD，非法日期剔除 |
| 客户地址 | CRM | 地址缺失、手写简写、行政区划变更 | 调用地理编码 API 标准化，无法解析的标记人工复核 |
| 订单重量/体积 | WMS | 零值、负值、极端异常值 | 按 SKU 标准重量/体积回填，超出 3σ 的标记为异常 |
| 客户坐标 | 地理编码 | 坐标偏移（火星坐标 vs GCJ-02） | 统一转换为 WGS-84 坐标系 |
4.2 成本数据的获取与清洗
核心原理：成本数据是选址经济性评估的基础，涵盖土地购置/租赁成本、建筑建设成本、人力成本、设备成本、水电能耗、税费及未来运营变动成本。成本数据具有显著的地域差异性和时间敏感性，需要建立标准化的成本分解结构（CBS）进行统一核算。
获取渠道与判断方法：
- 土地与租金：通过当地自然资源和规划局官网、中国土地市场网查询工业用地挂牌价；通过物流地产商（普洛斯、万纬等）公开报价获取仓库租金水平。
- 人力成本：查阅当地人社局发布的最低工资标准、物流行业平均薪酬报告（如物流沙龙年度薪酬调研）。
- 运营成本：参考同区域已运营仓库的能耗账单、设备维护合同、保险费用等历史数据。
清洗方法：将不同来源的成本数据统一折算为“元/平方米/月”或“元/年”的标准单位。对于缺失的年份数据，采用 CPI 指数或当地 GDP 增速进行插值修正。对于明显偏离市场行情 30% 以上的报价，需进行二次核实。
4.3 地理数据的获取与清洗
核心原理：地理数据描述候选地块的自然条件与建设约束，包括地形坡度、地质承载力、洪水位、地震烈度、气象条件（降雨量、温度极值）、地块形状与面积、规划用地性质、周边环境敏感点（学校、居民区）等。地理数据是选址的“硬约束”，一旦不满足将直接淘汰候选方案。
获取渠道与操作流程：
- GIS 数据平台：使用 ArcGIS Online、天地图、国家地理信息公共服务平台获取 DEM 高程数据、土地利用现状数据。
- 规划部门公开文件：查询当地城市总体规划（2016-2035）、控制性详细规划，确认地块的用地性质（W 仓储用地 vs M 工业用地）。
- 现场踏勘：对入围的 3-5 个候选地块进行实地勘察，记录实际地形、周边道路状况、是否有高压线穿越等。
| 地理要素 | 数据来源 | 清洗规则 | 阈值参考 |
|---|---|---|---|
| 地形坡度 | DEM 数据 | 坡度 > 15% 标记为不适合 | 仓库作业区坡度 ≤ 5% |
| 地质承载力 | 地勘报告 | 承载力 < 10t/㎡ 需地基处理 | 标准仓库要求 ≥ 15t/㎡ |
| 洪水位 | 水利部门 | 地块标高低于 50 年一遇洪水位则剔除 | 需高于洪水位 1m 以上 |
| 用地性质 | 规划局 | 非仓储/物流用地直接排除 | W1/W2 类物流用地 |
4.4 交通数据的获取与清洗
核心原理：交通数据决定了仓储节点的可达性与配送效率，包括道路等级结构、高峰时段通行速度、货车限行政策、高速公路出入口距离、铁路/港口衔接能力等。交通数据的时效性极强，必须反映当前及未来规划的路网状态。
获取渠道与判断方法：
- 地图 API：通过高德地图、百度地图、Google Maps API 获取实时路况、历史通行速度数据（需购买商业授权）。
- 交管部门公开数据：查询当地货车限行区域、限行时段、通行证办理政策。
- 物流平台数据：G7、中交兴路等车联网平台可提供实际货车行驶轨迹与平均速度数据。
清洗方法：交通数据清洗的重点是“时间维度对齐”。将不同来源的通行速度数据统一到同一时段（如早高峰 7:00-9:00、晚高峰 17:00-19:00、平峰时段），并计算各时段平均速度与标准差。对于缺失的夜间数据，可采用线性插值或参考相邻路段数据。
4.5 数据质量评估与综合校验
核心原理：数据清洗完成后，必须进行系统性的质量评估，确保进入模型的数据满足“完整性、准确性、一致性、时效性”四个维度要求。建议建立数据质量评分卡，对每类数据源进行量化打分。
操作流程：
- 完整性检查：统计各字段缺失率，关键字段（客户坐标、地块面积）缺失率不得超过 5%。
- 准确性抽检：随机抽取 10% 的数据与原始凭证或现场实测进行比对，误差率应低于 3%。
- 一致性校验：检查同一实体在不同数据源中的描述是否一致（如客户名称、地块编号）。
- 时效性确认：确认交通数据采集时间不超过 6 个月，成本数据不超过 1 年。
总结复盘：数据收集与预处理是智能仓储选址项目中耗时最长、最容易被低估的环节。一个典型的选址项目，数据工作通常占整个项目周期的 40%-50%。本章所述的四类数据并非孤立存在，而是相互关联、相互校验的。例如，需求数据中的客户坐标必须与地理数据中的路网叠加分析，才能计算出真实的配送距离与时间。建议团队建立统一的数据字典与处理脚本库，将清洗规则标准化、自动化，为后续模型计算和方案迭代提供可靠的数据底座。