2. 环境搭建与数据准备：Python环境配置、Pandas/NumPy/Scikit-learn安装、模拟数据集生成与加载

本章是实战课程的基石。我们将从零搭建一套专用于现金流预测与发票对账分析的Python环境，并生成一套高度仿真的模拟数据集。完成本章后，你将拥有一个可直接运行后续所有调优与异常处理代码的标准化工作台。

2.1 Python环境配置与虚拟环境管理

为避免项目依赖冲突，强烈建议使用虚拟环境隔离本课程的依赖包。推荐使用Python 3.9+版本，并采用venv或conda进行管理。

2.1.1 环境创建与激活（Windows/macOS/Linux通用）

# 创建名为 cashflow_env 的虚拟环境，指定Python 3.10
conda create -n cashflow_env python=3.10 -y

# 激活环境
conda activate cashflow_env

# 验证Python版本
python --version
# 输出示例：Python 3.10.12

2.2 核心依赖库安装

本课程涉及数据处理、数值计算、机器学习建模与可视化。以下为必须安装的核心库及其版本兼容性说明。

2.2.1 批量安装与版本校验

# 批量安装（已激活 cashflow_env）
conda install pandas numpy scikit-learn matplotlib seaborn -y

# 版本校验脚本
python -c "
import pandas as pd
import numpy as np
import sklearn
print(f'pandas: {pd.__version__}')
print(f'numpy: {np.__version__}')
print(f'scikit-learn: {sklearn.__version__}')
"

2.3 模拟数据集生成与加载

真实企业数据通常涉及商业机密且包含大量缺失值与噪声。为便于教学，我们设计了一套包含正常现金流、周期性波动、发票对账差异以及异常跳点的模拟数据集。

2.3.1 数据集结构设计

数据集包含两张核心表：cash_flow_daily（每日现金流流水）与invoice_reconciliation（发票对账明细）。

2.3.2 生成模拟数据的核心逻辑

我们使用numpy的随机数生成器结合pandas的时间序列索引，构造带有以下特征的现金流数据：

• 趋势项：线性增长模拟业务扩张，月均增长2%。
• 季节项：以7天为周期的星期效应（周末流入减少，周初集中回款）。
• 噪声项：高斯白噪声，标准差为当日均值的5%。
• 异常注入：随机选取5%的日期，将净现金流放大3~5倍，模拟大额异常入账或出账。

import numpy as np
import pandas as pd

# 设置随机种子，保证结果可复现
np.random.seed(42)

# 生成日期范围
dates = pd.date_range(start='2023-01-01', end='2023-12-31', freq='D')
n = len(dates)

# 构造基础趋势与季节
trend = 100000 + np.linspace(0, 50000, n)  # 线性增长
seasonal = 20000 * np.sin(2 * np.pi * np.arange(n) / 7)  # 周周期

# 生成流入与流出
inflow = trend + seasonal + np.random.normal(0, 5000, n)
outflow = trend * 0.85 + np.random.normal(0, 4000, n)

# 注入异常点（5%的日期）
anomaly_mask = np.random.choice([0, 1], size=n, p=[0.95, 0.05])
inflow[anomaly_mask == 1] *= np.random.uniform(3.0, 5.0, size=anomaly_mask.sum())

# 组装DataFrame
cash_flow = pd.DataFrame({
    'date': dates,
    'inflow': inflow,
    'outflow': outflow,
    'net_flow': inflow - outflow,
    'is_anomaly': anomaly_mask
})

print(cash_flow.head(10))

2.3.3 发票对账差异数据生成

模拟10家供应商在全年产生的发票记录，并人为注入三种典型对账异常：金额不匹配、重复付款、遗漏付款。

vendors = ['供应商_A', '供应商_B', '供应商_C', '供应商_D', '供应商_E',
           '供应商_F', '供应商_G', '供应商_H', '供应商_I', '供应商_J']

# 生成1000条发票记录
n_invoices = 1000
invoice_ids = [f'INV-{pd.Timestamp(2023,1,1) + pd.Timedelta(days=int(i)):%Y%m%d}-{i:04d}'
               for i in range(n_invoices)]

invoice_amounts = np.random.uniform(1000, 50000, n_invoices)
# 正常付款：与发票金额一致；异常：随机偏差
payment_amounts = invoice_amounts.copy()
error_mask = np.random.choice([0, 1], size=n_invoices, p=[0.92, 0.08])
payment_amounts[error_mask == 1] *= np.random.uniform(0.5, 1.5, size=error_mask.sum())

invoice_df = pd.DataFrame({
    'invoice_id': invoice_ids,
    'vendor': np.random.choice(vendors, n_invoices),
    'invoice_amount': invoice_amounts,
    'payment_amount': payment_amounts,
    'diff_amount': invoice_amounts - payment_amounts
})

print(invoice_df[invoice_df['diff_amount'].abs() > 100].head())

2.4 数据加载与初步验证

生成的数据集建议保存为parquet格式（压缩率高、读写快），也可保存为csv便于直接查看。

# 保存为parquet（推荐）
cash_flow.to_parquet('data/cash_flow_daily.parquet', index=False)
invoice_df.to_parquet('data/invoice_reconciliation.parquet', index=False)

# 加载验证
df_cf = pd.read_parquet('data/cash_flow_daily.parquet')
df_inv = pd.read_parquet('data/invoice_reconciliation.parquet')

print(f'现金流数据维度: {df_cf.shape}')
print(f'发票对账数据维度: {df_inv.shape}')
print(f'异常比例: {df_cf["is_anomaly"].mean():.2%}')

2.5 环境与数据架构总览

下图展示了从环境搭建到数据加载的完整链路，以及各组件之间的依赖关系。

2.6 常见问题与解决方案