3、数据探索：金融交易数据集介绍、数据加载与初步探索、缺失值与异常值可视化

数据探索是构建异常交易检测模型的第一步，也是决定模型上限的关键环节。本节将带领你熟悉金融交易数据集的结构，掌握数据加载与初步探索的方法，并通过可视化手段直观识别缺失值与异常值，为后续特征工程与模型训练打下坚实基础。

3.1 金融交易数据集介绍

本课程使用一个模拟真实银行交易场景的公开数据集，包含约 10 万条交易记录，涵盖正常交易与多种类型的异常交易。数据集字段设计贴近生产环境，便于后续部署实战。

3.2 数据加载与初步探索

使用 Python 的 Pandas 库加载 CSV 格式的交易数据，并进行初步的结构化探索。以下代码展示了标准的数据加载流程与基础统计信息输出。

import pandas as pd
import numpy as np

# 加载数据集
df = pd.read_csv('transaction_data.csv')

# 查看数据形状与字段信息
print(f"数据集形状: {df.shape}")
print(f"字段列表: {df.columns.tolist()}")

# 查看前5行数据
print(df.head())

# 基础统计描述
print(df.describe(include='all'))

# 检查数据类型与缺失情况
print(df.info())

初步探索的核心任务包括：

• 维度确认：记录总数与字段数量是否符合预期。
• 数据类型检查：确保数值字段为 float/int，分类字段为 object/category，时间字段已转换为 datetime。
• 类别分布：统计 transaction_type 与 is_fraud 的频次，初步了解异常比例。
• 数值范围：观察 amount、sender_balance_before 等字段的最小值、最大值与分位数，识别极端值。

3.3 缺失值与异常值可视化

可视化是数据探索中最直观的环节。我们使用 Matplotlib 和 Seaborn 绘制缺失值热力图与异常值分布图，帮助快速定位数据质量问题。

3.3.1 缺失值可视化

缺失值会直接影响模型训练效果。通过热力图可以一目了然地看到哪些字段存在缺失，以及缺失的严重程度。

import matplotlib.pyplot as plt
import seaborn as sns

# 计算缺失比例
missing_ratio = df.isnull().sum() / len(df) * 100
missing_df = pd.DataFrame({'字段': missing_ratio.index, '缺失比例(%)': missing_ratio.values})
missing_df = missing_df[missing_df['缺失比例(%)'] > 0]
print(missing_df.sort_values('缺失比例(%)', ascending=False))

# 绘制缺失值热力图
plt.figure(figsize=(12, 6))
sns.heatmap(df.isnull(), cbar=False, cmap='viridis', yticklabels=False)
plt.title('交易数据集缺失值热力图')
plt.xlabel('字段')
plt.ylabel('样本索引')
plt.show()

3.3.2 异常值可视化

异常值在金融交易中往往对应欺诈行为。通过箱线图和分布图可以快速识别金额、余额等字段中的离群点。

# 绘制金额字段的箱线图
plt.figure(figsize=(10, 5))
sns.boxplot(x=df['amount'])
plt.title('交易金额箱线图（异常值标记）')
plt.xlabel('金额（美元）')
plt.show()

# 按标签分组查看金额分布
plt.figure(figsize=(10, 5))
sns.histplot(data=df, x='amount', hue='is_fraud', bins=50, log_scale=True, alpha=0.6)
plt.title('正常交易 vs 异常交易金额分布（对数尺度）')
plt.xlabel('金额（美元，对数尺度）')
plt.ylabel('频次')
plt.show()

3.4 数据探索总结清单

完成本节内容后，你应该能够独立完成以下数据探索任务。建议将以下清单作为每次数据项目的检查表。