3. 数据血缘采集技术：基于SQL解析的血缘采集、基于日志的血缘采集、基于代码扫描的血缘采集

数据血缘采集是构建反欺诈回放链路的基础环节。在反欺诈场景中，我们需要精确追踪一笔交易或一个客户行为从原始数据表到最终风控决策表的完整数据流向。当前主流的数据血缘采集技术分为三类：基于SQL解析、基于日志和基于代码扫描。三种技术在采集深度、实时性、侵入性和适用场景上各有优劣。

3.1 基于SQL解析的血缘采集

该技术通过解析SQL语句中的SELECT、FROM、JOIN、INSERT、CREATE TABLE AS SELECT（CTAS）等语法结构，提取源表、目标表、字段映射关系。在反欺诈链路中，ETL脚本和风控规则引擎的SQL查询是主要解析对象。

-- 示例：风控特征宽表构建SQL
INSERT INTO risk_feature_wide_table
SELECT
    a.trans_id,
    a.user_id,
    b.device_fingerprint,
    c.ip_risk_score,
    d.mobile_black_flag
FROM transaction_log a
LEFT JOIN device_info b ON a.user_id = b.user_id
LEFT JOIN ip_risk_table c ON a.ip = c.ip
LEFT JOIN mobile_blacklist d ON a.mobile = d.mobile;
-- 解析结果：transaction_log(trans_id, user_id, ip, mobile) → risk_feature_wide_table
--           device_info(user_id, device_fingerprint) → risk_feature_wide_table
--           ip_risk_table(ip, ip_risk_score) → risk_feature_wide_table
--           mobile_blacklist(mobile, mobile_black_flag) → risk_feature_wide_table

3.2 基于日志的血缘采集

该技术通过监听数据库的Binlog（MySQL）、Redo Log（Oracle）、WAL（PostgreSQL）或大数据平台的审计日志，捕获实际执行的数据变更记录。在反欺诈回放链路中，日志采集能真实反映数据在运行时的流转路径，包括SQL解析无法覆盖的存储过程内部操作。

-- 示例：MySQL Binlog 解析后的血缘记录（伪代码）
{
  "event_type": "INSERT",
  "source_table": "transaction_log",
  "target_table": "risk_feature_wide_table",
  "timestamp": "2025-03-21 14:30:00",
  "transaction_id": "TXN10086",
  "field_mapping": {
    "trans_id": "trans_id",
    "user_id": "user_id",
    "ip": "ip",
    "mobile": "mobile"
  },
  "condition": "INSERT INTO risk_feature_wide_table SELECT ... FROM transaction_log WHERE trans_date = '2025-03-21'"
}

3.3 基于代码扫描的血缘采集

该技术通过静态分析数据加工代码（如Python、Java、Scala、Shell脚本），提取数据源、转换逻辑和目标输出之间的依赖关系。在反欺诈链路中，特征工程代码、模型推理脚本、规则配置文件的扫描尤为重要，因为这些代码中往往包含SQL解析和日志采集无法覆盖的复杂业务逻辑。

# 示例：Python 风控特征加工脚本
import pandas as pd

def build_risk_features(trans_df, user_df):
    # 读取交易数据
    trans = pd.read_sql("SELECT * FROM transaction_log", con=db_conn)
    # 读取用户数据
    user = pd.read_sql("SELECT * FROM user_profile", con=db_conn)
    # 特征加工
    merged = pd.merge(trans, user, on="user_id", how="left")
    merged["amount_risk_flag"] = merged["amount"].apply(lambda x: 1 if x > 10000 else 0)
    # 写入风控特征表
    merged.to_sql("risk_feature_wide_table", con=db_conn, if_exists="replace")
    return merged

# 代码扫描结果：
# 输入表：transaction_log, user_profile
# 输出表：risk_feature_wide_table
# 字段级血缘：transaction_log.amount → risk_feature_wide_table.amount_risk_flag (通过UDF转换)

3.4 三种采集技术对比总结

3.5 反欺诈场景下的技术选型建议

• 离线链路审计（事后回放）： 优先采用基于SQL解析 + 基于代码扫描，覆盖ETL和特征工程的全量血缘，成本低且无侵入。
• 实时链路追踪（在线回放）： 必须引入基于日志采集，捕获运行时动态SQL和存储过程，确保回放链路与实际执行一致。
• 混合架构（推荐）： 以SQL解析为基线（覆盖80%场景），代码扫描补充特征工程逻辑（覆盖15%），日志采集兜底运行时动态部分（覆盖剩余5%），构建完整的反欺诈数据血缘图谱。