第1章 课程介绍与背景:团伙识别与图谱特征衍生的意义

1.1 团伙识别:反欺诈的"终极战场"

团伙识别,说白了就是揪出那些"组团作案"的人。我在金融风控领域干了快十年,见过太多这样的案例。羊毛党团伙用几百个账号同时薅一家平台的补贴,刷单团伙互相给好评营造虚假繁荣,骗贷团伙伪造资料多头借贷——这些团伙最狡猾的地方在于:单个账号看全是"好人",只有把它们放到关系网里,才能看出猫腻。

为什么强调"团伙"而不是"个人"?因为黑产早已不是小打小闹了。他们分工明确,有养号的、有做任务的、有洗钱的,形成了一条完整产业链。你想想看,一个团伙成员的行为和正常用户几乎一模一样,单点防御根本挡不住。

团伙欺诈 vs 单人欺诈

  • 单人欺诈:行为异常集中在个体,规则引擎容易命中
  • 团伙欺诈:个体行为看似正常,异常藏在关系结构里

嗯,这就是团伙识别的核心挑战——你没法只看一个人,得看一群人怎么连在一起的。

1.2 图谱特征衍生:让关系"开口说话"

团伙的本质是"关系"。我个人习惯把从关系图中提取特征的过程叫做——让关系"开口说话"。

图谱特征衍生,就是从实体关系图中计算出能刻画团伙行为的量化指标。我从实际项目中总结出三类最常用的特征:

特征类型 典型指标 能发现什么
结构特征 度、中心性、PageRank 谁是团伙中的"核心节点"
路径特征 最短路径、连通分量 成员之间怎么串联的
社区特征 社区密度、模块度 哪些人形成了紧密小团体

这些特征用SQL就能算,而且效率很高。我刚开始做反欺诈时,也走过弯路。当时用规则引擎,一条条写规则去匹配团伙行为,结果被黑产轻松绕过。后来转向图谱思维,效果完全不一样——黑产可以伪装单个账号的行为,但他很难伪装整个关系网络的结构。

一个小经验

我曾经接手过一个刷单团伙的案子。单看每个账号的点击率、转化率都正常,但把收货地址和IP画成图后,发现所有账号的地址都指向同一个仓库,IP段也高度重叠。这个模式,不用图谱特征衍生根本发现不了。

1.3 典型应用场景

团伙识别不是金融风控的专利。我在不同行业都见过类似的需求,核心逻辑是相通的:

行业场景 团伙特征 识别难点 图谱特征的价值
金融信贷 多头借贷、组团骗贷 单点信用评分无异常 发现资金网络中的资金闭环
电商平台 刷单、刷好评 账号海量且行为分散 挖掘收货地址/IP的聚集模式
社交平台 水军、僵尸粉 行为模拟真实用户 识别异常关注/互动图结构
内容平台 刷量、刷阅读 流量分布均匀无尖峰 发现设备/账号的强关联社区

你看,不管哪个行业,团伙识别都绕不开一个核心动作——从关系中发现隐藏的结构模式。这就是图谱特征衍生的用武之地。

1.4 从数据到决策:全链路框架

团伙识别不是一步到位的。它需要从原始数据开始,经过关系抽取、图谱构建、特征衍生,最后才能输入模型。我画了一张图,把整条链路串起来给你看:

团伙识别图谱特征衍生全链路 原始数据层 交易 · 社交 · 行为 关系抽取层 实体识别 · 关系提取 图谱构建层 知识图谱 · 关系网络 特征衍生层 结构 · 路径 · 社区 团伙识别层 图算法 · 分类模型 业务应用层 风控决策 · 反作弊 💡 从数据到决策共6层,每层都可以用SQL做特征加工 本课程将重点拆解"特征衍生层"的SQL实现方法

这张图就是整门课的骨架。我会重点拆解特征衍生层——教你如何用SQL计算结构特征、路径特征和社区特征。上面几层(数据、关系、图谱)会用现成的案例数据带你快速过一遍,下面几层(模型、应用)会给出接口和思路,但不会深入算法细节。

1.5 避坑指南

我踩过的两个坑,你别再踩了

  1. 特征堆砌 ≠ 有效衍生——我刚开始时一股脑算了几十个图谱特征,结果模型效果反而更差。后来才明白,特征要和业务场景对齐。比如做刷单识别,"收货地址聚集度"比"PageRank"有用得多。
  2. SQL不是万能药——超大图(千万节点以上)的社区发现用SQL硬算会非常慢。我建议在数据量超过500万节点时,先用图数据库做粗筛,再用SQL做细加工。这个分寸感很重要。

学习建议

我建议你在开始学习之前,先想清楚自己业务中哪个场景最需要团伙识别。带着具体问题来学,效果会好很多。课程里的SQL代码我会给全,但你最好在自己的数据上跑一遍——只有亲手调过参数,才算真正掌握。

好,第1章就讲这些。团伙识别不是新概念,但用SQL做图谱特征衍生这条路,业内讲得还不够细。接下来的课程,我会一步一步带着你把这条路走通。