4. 信息采集工具准备

材料价格信息采集的效率和准确性，直接决定了工程量清单编制的质量。本章聚焦三大核心工具：Excel高级功能（数据验证与条件格式）、Python爬虫（requests+BeautifulSoup）以及API接口调用。掌握这些工具，能够帮助造价工程师从手动录入转向半自动/自动化采集，显著降低数据差错率。

4.1 Excel高级功能：数据验证与条件格式

Excel是造价人员最熟悉的工具，但其高级功能常被低估。在材料价格采集中，数据验证用于限制输入范围，条件格式用于异常值预警。

4.1.1 数据验证（Data Validation）

确保采集人员只能输入符合规范的材料编码、单位或价格区间，从源头减少脏数据。

• 序列验证： 限定“计量单位”只能从下拉列表中选择（如 t、m³、m²、个）。
• 整数/小数验证： 限制“材料价格”必须为正数，且不超过预设上限（如 0~99999）。
• 自定义公式验证： 校验“材料编码”是否符合“前两位字母+六位数字”的规则。

4.1.2 条件格式（Conditional Formatting）

自动标记价格异常波动、缺失值或重复项，辅助人工审核。

• 突出显示重复值： 快速发现同一材料编码被重复录入。
• 数据条/色阶： 直观展示不同供应商报价的高低分布。
• 公式条件格式： 当价格波动超过 ±15% 时，单元格自动标红。

4.2 Python爬虫入门：requests + BeautifulSoup

当材料价格信息发布在网页上（如各地造价信息网、建材电商平台），手动复制粘贴效率极低。Python爬虫可以自动抓取、解析并结构化存储这些数据。

4.2.1 环境准备与核心库

• requests： 发送HTTP请求，获取网页HTML内容。
• BeautifulSoup4： 解析HTML文档，通过标签、属性、CSS选择器提取目标数据。
• lxml： 作为BeautifulSoup的解析器，速度更快。

4.2.2 典型爬取流程

1. 分析目标网页： 确定价格数据所在的HTML标签结构（如 <table>、<div class="price">）。
2. 发送请求： 使用 requests.get(url, headers) 模拟浏览器访问。
3. 解析内容： 使用 BeautifulSoup(html, 'lxml') 定位数据节点。
4. 提取与清洗： 循环遍历节点，提取材料名称、规格、单位、价格等字段。
5. 存储： 将数据写入Excel或CSV，供工程量清单调用。

4.2.3 代码示例：抓取某造价信息网水泥价格

import requests
from bs4 import BeautifulSoup
import pandas as pd

# 1. 发送请求
url = "https://example.com/price/cement"
headers = {"User-Agent": "Mozilla/5.0"}
response = requests.get(url, headers=headers)
response.encoding = "utf-8"

# 2. 解析HTML
soup = BeautifulSoup(response.text, "lxml")

# 3. 定位价格表格（假设表格id为'priceTable'）
table = soup.find("table", id="priceTable")
rows = table.find_all("tr")

# 4. 提取数据
data = []
for row in rows[1:]:  # 跳过表头
    cols = row.find_all("td")
    if len(cols) >= 4:
        data.append({
            "材料名称": cols[0].text.strip(),
            "规格型号": cols[1].text.strip(),
            "单位": cols[2].text.strip(),
            "含税价": cols[3].text.strip()
        })

# 5. 存储为DataFrame并导出
df = pd.DataFrame(data)
df.to_excel("水泥价格采集.xlsx", index=False)
print(f"成功采集 {len(df)} 条数据")

4.3 API接口调用基础

相比爬虫，API（应用程序编程接口）是更规范、更稳定的数据获取方式。许多政府造价管理机构、建材集采平台已开放RESTful API，提供标准化的材料价格查询服务。

4.3.1 API调用核心概念

4.3.2 Python调用API示例

import requests
import json

# API配置
url = "https://api.cost.gov.cn/v1/price"
headers = {
    "Authorization": "Bearer YOUR_",
    "Content-Type": "application/json"
}
params = {
    "material": "螺纹钢",
    "spec": "HRB400 25mm",
    "region": "上海",
    "date": "2025-03"
}

# 发送GET请求
response = requests.get(url, headers=headers, params=params)

# 检查状态码
if response.status_code == 200:
    data = response.json()
    # 提取价格信息
    for item in data.get("data", []):
        print(f"材料: {item['name']}, 规格: {item['spec']}, 含税价: {item['price']} 元/{item['unit']}")
else:
    print(f"请求失败，状态码: {response.status_code}")

4.3.3 常见API返回结构（JSON示例）

{
  "code": 200,
  "message": "success",
  "data": [
    {
      "material_id": "M001",
      "name": "普通硅酸盐水泥",
      "spec": "P.O 42.5",
      "unit": "t",
      "price": 480.00,
      "price_type": "含税价",
      "region": "北京",
      "date": "2025-03-15"
    }
  ]
}

4.4 工具选型对比与适用场景