3、切片分析工具链：Pandas基础、NumPy基础、Scikit-learn基础、可视化库(Matplotlib/Seaborn)

做数据切片分析，说白了就是跟一堆工具打交道。我刚开始带团队的时候，发现很多人工具用得挺熟，但一遇到切片场景就卡壳。为什么？因为没搞懂每个工具在切片链条里到底扮演什么角色。

今天咱们就把这四样东西——Pandas、NumPy、Scikit-learn、还有可视化库——串起来讲。你想想看，切片分析不就是：取数据 → 算指标 → 建模型 → 看结果 吗？正好对应这四个工具。

3.1 Pandas 基础：切片操作的起点

Pandas 是我用得最多的工具，没有之一。做切片分析，90% 的时间都在跟 DataFrame 打交道。

核心操作就三样：

• 行切片：用 df[df['age'] > 30] 或者 df.query('age > 30')
• 列切片：用 df[['col1', 'col2']] 或者 df.loc[:, 'col1':'col5']
• 复合切片：用 df[(df['age'] > 30) & (df['gender'] == 'M')]

我在项目中遇到过一个问题：数据量上千万行时，用 apply 做切片后计算，慢得让人抓狂。后来改用 groupby + agg，速度提升了 50 倍。记住：能向量化就别用循环。

import pandas as pd

# 加载数据
df = pd.read_csv('customer_data.csv')

# 切片：高价值客户
high_value = df.query('annual_income > 100000 and credit_score > 700')

# 切片内统计
result = high_value.groupby('region').agg({
    'purchase_amount': ['mean', 'std', 'count']
})
print(result)

3.2 NumPy 基础：切片计算的引擎

Pandas 底层其实依赖 NumPy。你每次调用 df.mean()，背后都是 NumPy 在干活。

做切片分析时，NumPy 最常用的场景是：

• 数组切片：arr[arr > 0.5] 快速筛选
• 统计计算：np.mean()、np.std()、np.percentile()
• 条件筛选：np.where(condition, x, y) 做条件赋值

import numpy as np

# 模拟切片数据
scores = np.random.normal(75, 10, 1000)

# 切片：找出异常低分
low_scores = scores[scores < 50]

# 计算切片内统计
print(f"低分人数: {len(low_scores)}")
print(f"低分均值: {np.mean(low_scores):.2f}")
print(f"低分中位数: {np.median(low_scores):.2f}")
print(f"低分 90% 分位: {np.percentile(low_scores, 90):.2f}")

3.3 Scikit-learn 基础：切片模型评估

很多人以为 Scikit-learn 只是用来训练模型的。其实它在切片分析里有个特别重要的用途——评估模型在不同切片上的表现差异。

我常用的套路是：

1. 训练一个全局模型
2. 按某个特征（比如年龄段、地区）切片
3. 在每个切片上评估模型性能
4. 找出表现最差的切片，针对性优化

切片维度	样本数	准确率	召回率	F1 分数
年龄 < 25	1200	0.82	0.75	0.78
25 ≤ 年龄 ≤ 45	3500	0.91	0.88	0.89
年龄 > 45	800	0.76	0.68	0.72

你看上面这张表，年龄 > 45 的切片明显表现差。这就是切片分析的价值——发现全局指标掩盖的局部问题。

from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report

# 假设已经训练好模型
model = RandomForestClassifier()
model.fit(X_train, y_train)

# 按年龄切片评估
for age_group, mask in [('young', X_test['age'] < 25),
                         ('mid', (X_test['age'] >= 25) & (X_test['age'] <= 45)),
                         ('old', X_test['age'] > 45)]:
    X_slice = X_test[mask]
    y_slice = y_test[mask]
    y_pred = model.predict(X_slice)
    print(f"\n=== 年龄组: {age_group} ===")
    print(classification_report(y_slice, y_pred))

3.4 可视化库：让切片差异一目了然

数据切片分析做完了，怎么让别人信服？靠图。我个人的经验是：一张好的切片对比图，胜过十页分析报告。

Matplotlib：基础但灵活

适合画切片对比的柱状图、箱线图、折线图。我习惯用 subplots 把多个切片放在同一张图里对比。

import matplotlib.pyplot as plt
import numpy as np

# 模拟三个切片的数据
slices = ['青年', '中年', '老年']
means = [0.82, 0.91, 0.76]
stds = [0.05, 0.03, 0.08]

plt.figure(figsize=(8, 5))
plt.bar(slices, means, yerr=stds, capsize=5, color=['#3498db', '#2ecc71', '#e74c3c'])
plt.ylabel('准确率')
plt.title('不同年龄切片模型准确率对比')
plt.ylim(0, 1.0)
plt.show()

Seaborn：统计图更省事

Seaborn 在切片分析里最常用的是 boxplot 和 violinplot。你想想看，想看不同切片的数据分布差异，箱线图是最直观的。

import seaborn as sns
import pandas as pd

# 构造数据
df = pd.DataFrame({
    'age_group': ['青年']*100 + ['中年']*100 + ['老年']*100,
    'score': np.concatenate([
        np.random.normal(0.82, 0.05, 100),
        np.random.normal(0.91, 0.03, 100),
        np.random.normal(0.76, 0.08, 100)
    ])
})

# 画箱线图
plt.figure(figsize=(8, 5))
sns.boxplot(x='age_group', y='score', data=df, palette='Set2')
plt.title('不同年龄切片得分分布')
plt.show()

3.5 工具链整合：一个完整的切片分析案例

最后，咱们把四个工具串起来，做一个完整的切片分析流程。这个案例我实际项目里用过，场景是分析用户流失预测模型在不同注册渠道上的表现差异。

import pandas as pd
import numpy as np
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.metrics import roc_auc_score
import matplotlib.pyplot as plt
import seaborn as sns

# 1. Pandas：加载并切片数据
df = pd.read_csv('churn_data.csv')
channels = df['register_channel'].unique()

# 2. 训练全局模型
X = df.drop(['churn', 'register_channel'], axis=1)
y = df['churn']
model = GradientBoostingClassifier()
model.fit(X, y)

# 3. 按渠道切片评估
results = []
for channel in channels:
    mask = df['register_channel'] == channel
    X_slice = X[mask]
    y_slice = y[mask]
    y_prob = model.predict_proba(X_slice)[:, 1]
    auc = roc_auc_score(y_slice, y_prob)
    results.append({'channel': channel, 'auc': auc, 'count': mask.sum()})

# 4. NumPy：计算切片统计
result_df = pd.DataFrame(results)
print(f"全局 AUC: {np.mean(result_df['auc']):.3f}")
print(f"切片 AUC 标准差: {np.std(result_df['auc']):.3f}")

# 5. 可视化：切片对比
plt.figure(figsize=(10, 5))
sns.barplot(x='channel', y='auc', data=result_df, palette='viridis')
plt.axhline(y=np.mean(result_df['auc']), color='red', linestyle='--', label='全局均值')
plt.title('不同注册渠道的模型 AUC 对比')
plt.legend()
plt.show()

这个流程跑下来，你就能清楚地看到：哪个渠道的预测效果最好，哪个渠道需要优化。说白了，切片分析就是帮你在全局指标之外，找到那些「被平均」的局部真相。