2. Python实时数据处理基础

实时交易风控的核心在于“快”与“准”。在毫秒级的行情波动中，风控特征必须基于最新的数据窗口计算得出。本章将建立实时数据处理的理论基础，重点讲解时间序列的核心概念、Pandas与NumPy在流式场景下的使用技巧，以及数据窗口的滑动机制。

2.1 时间序列基础

时间序列是按时间顺序排列的数据点集合。在交易风控中，每一笔订单、每一次行情Tick都带有精确的时间戳。理解时间序列的三大属性是构建实时特征的前提：

2.2 Pandas与NumPy在实时流中的使用

Pandas和NumPy是Python数据科学生态的核心，但在实时流处理中，直接使用它们存在性能陷阱。以下对比了传统用法与实时优化用法：

2.2.1 预分配环形缓冲区示例

import numpy as np
import pandas as pd

# 预分配一个长度为1000的环形缓冲区
BUFFER_SIZE = 1000
price_buffer = np.zeros(BUFFER_SIZE, dtype=np.float64)
timestamp_buffer = np.empty(BUFFER_SIZE, dtype='datetime64[ms]')
index = 0
count = 0

def on_tick(timestamp, price):
    global index, count
    # 写入当前位置
    price_buffer[index] = price
    timestamp_buffer[index] = timestamp
    # 移动指针
    index = (index + 1) % BUFFER_SIZE
    count = min(count + 1, BUFFER_SIZE)
    # 计算最近100笔的均值（增量更新）
    if count >= 100:
        # 此处可调用增量均值函数
        pass

2.3 数据窗口概念

数据窗口是实时风控特征工程的核心抽象。它定义了一个“可见范围”，只有落在窗口内的数据才参与特征计算。窗口的三大要素决定了特征的时效性与稳定性：

• 窗口长度：时间跨度（如60秒）或数据条数（如100笔）。
• 滑动步长：每次窗口移动的距离（如1秒或每笔Tick）。
• 窗口类型：固定窗口、滑动窗口、会话窗口。

2.3.1 三种窗口类型对比

2.3.2 滑动窗口的增量更新机制

在实时流中，每次窗口滑动时如果都全量重算，性能将无法接受。正确的做法是增量更新：只计算新进入窗口的数据和离开窗口的数据对统计量的影响。

class SlidingWindowStats:
    """滑动窗口增量统计器（以均值为例）"""
    def __init__(self, window_size: int):
        self.window_size = window_size
        self.buffer = np.zeros(window_size, dtype=np.float64)
        self.index = 0
        self.count = 0
        self.sum = 0.0

    def add_value(self, value: float) -> float:
        """添加新值，返回当前窗口均值"""
        old_val = self.buffer[self.index]
        self.buffer[self.index] = value
        self.index = (self.index + 1) % self.window_size

        if self.count < self.window_size:
            # 窗口未满，直接累加
            self.sum += value
            self.count += 1
        else:
            # 窗口已满，减去旧值，加上新值
            self.sum = self.sum - old_val + value

        return self.sum / self.count

2.4 实时数据处理的三大原则

1. 先入先出（FIFO）：数据按时间顺序处理，保证窗口内数据的时序正确性。
2. 无状态优先：尽量将状态维护在窗口内，避免跨窗口的全局状态依赖，降低系统复杂度。
3. 预分配与复用：内存空间预先分配，对象复用，减少GC（垃圾回收）压力。

2.5 本章小结