1. 课程导论：特征缺失的定义、数据质量的重要性、缺失值对模型的影响概述

1.1 特征缺失的定义与本质

特征缺失（Feature Missing）是指数据集中某个或某些样本的特定特征字段没有记录值，表现为空值（NULL）、占位符（如“-999”、“N/A”）或逻辑缺失。缺失不是简单的“数据为空”，而是信息链条的中断，它直接破坏了特征与目标变量之间的统计关联。

缺失值在数据表中通常表现为以下形式：

1.2 数据质量的重要性

数据质量是数据治理的基石，而特征缺失是数据质量最直接的破坏因素。高质量数据应满足以下维度：

• 完整性（Completeness）：特征值不应大面积缺失，缺失率直接影响分析可信度。
• 准确性（Accuracy）：缺失值若被错误填充，会引入系统性偏差。
• 一致性（Consistency）：同一特征在不同数据源中的缺失模式应可解释。
• 时效性（Timeliness）：缺失值可能暗示数据采集延迟或记录失效。

数据质量对业务决策的影响可通过下表量化：

1.3 缺失值对模型的影响概述

缺失值对机器学习模型的影响是多层次、传导性的。从数据输入到模型输出，缺失值会引发以下风险：

1. 样本丢弃：多数模型（如线性回归、SVM）无法处理缺失值，直接删除含缺失的样本会导致信息损失。
2. 特征权重扭曲：缺失值填充（如均值填充）会压缩特征方差，使模型低估该特征的重要性。
3. 偏差引入：非随机缺失（MNAR）会引入选择偏差，使模型在真实场景中表现不稳定。
4. 模型可解释性下降：缺失处理逻辑不透明时，SHAP值、特征重要性等解释工具会失真。
5. 风险传导：在风控模型中，缺失值可能被模型误判为“低风险”信号，导致信贷违约率上升。

1.4 缺失值影响量化示例

以下代码展示缺失值对线性回归模型权重的直接影响：

import numpy as np
import pandas as pd
from sklearn.linear_model import LinearRegression

# 构造含缺失数据
np.random.seed(42)
X = np.random.randn(100, 3)
X[::10, 1] = np.nan  # 10%缺失
y = X[:, 0] * 2 + X[:, 1] * 3 + np.random.randn(100) * 0.5

# 直接删除缺失样本
X_clean = X[~np.isnan(X).any(axis=1)]
y_clean = y[~np.isnan(X).any(axis=1)]
model_drop = LinearRegression().fit(X_clean, y_clean)
print("删除缺失后权重:", model_drop.coef_)

# 均值填充
X_filled = pd.DataFrame(X).fillna(X.mean(axis=0)).values
model_fill = LinearRegression().fit(X_filled, y)
print("均值填充后权重:", model_fill.coef_)

1.5 课程学习路径

本课程将围绕特征缺失巡检与风险传导，按以下结构展开：