基于机器学习的凭据检测方法
正则表达式这玩意儿，确实能解决大部分凭据检测问题——只要格式固定，它又快又准。但你也一定碰到过这种情况：一个看起来很像的字符串，其实是用户随便敲的测试数据；或者真正的密钥藏在某个复杂的JSON结构里，正则根本匹配不到。我在项目里做过一次统计，纯粹用正则，误报率能到20%以上，漏报率也有10%左右。这年头，攻击者又不傻，他们不会乖乖按你的规则来写密码。
所以，我个人的习惯是：把机器学习拉进来，让模型自己去学习“什么看起来像凭据”。说白了，就是把凭据检测转成一个文本分类问题。你给它一堆带标签的文本，它自己琢磨规律。咱们来看看具体怎么做。
核心思路：文本分类
输入是一段文本，输出是“是凭据”或“不是凭据”。听起来简单，但难点在于文本的特征怎么抽。我最早做这个的时候，以为直接扔给BERT就行——后来发现，模型在真实流量上泛化很差，因为凭据这种短字符串，语义信息极其有限，反而是一些结构特征更管用。
下面这张图，就是我目前在项目里用的流程。注意，我把特征提取分成了三个子类，后面的模型才能吃透。
嗯，画得不复杂，但每一步都有坑。下面我按节点拆开讲。
特征工程——成败的关键
模型选什么其实不是最重要的——特征怎么构造才是最要命的。我见过一个团队拿了开源BERT模型来扫日志，结果毫秒级延迟不说，还老把“password=123”这种弱密码判成非凭据。你想想看，凭据检测的本质是什么？是看字符串是否“随机”到一定程度，且符合常见格式。
我把特征分成三类，项目里实测效果最好：
| 特征类别 | 具体特征 | 说明 |
|---|---|---|
| 统计特征 | 长度、字符熵、大写字母比例、数字比例、特殊字符比例 | 凭据通常熵值高，混合字符 |
| 上下文特征 | 前后10个的词性、是否在代码字符串中、附近有无关键字（password, key, secret） | 降低误报，例如普通英语句子里的随机词 |
| 结构特征 | 是否包含连字符（xxxx-xxxx-xxxx）、base64编码特征、常见前缀（sk-、pk-、AKIA） | 弥补正则的“刚性”，让模型学到格式规律 |
常用模型怎么选
模型这块，我试过好几个。一开始用逻辑回归做基线，后来发现随机森林在特征空间不固定的场景下很稳定。再后来为了处理变长文本，试了LSTM和Transformer。给你看我整理的一个对比表：
| 模型 | 优势 | 劣势 | 我的推荐场景 |
|---|---|---|---|
| 逻辑回归 | 训练快，可解释性强 | 无法捕捉非线性关系 | 冷启动阶段，快速验证特征有效性 |
| 随机森林 | 对缺失值和异常值鲁棒 | 模型体积大，推理慢 | 离线批处理扫描 |
| LSTM | 能捕获序列依赖（比如base64的ABCD模式） | 需要大量训练数据，调参麻烦 | 凭据格式变化多、数据量大的场景 |
| 轻量Transformer（如DistilBERT） | 语义理解强，能结合上下文 | 延迟高，GPU依赖 | 对延迟不敏感的API附加检测 |
训练数据怎么造
现实世界里的凭据标签，谁敢公开？别说真实了，连脱敏过的都不好找。我自己的做法是：
- 正样本： 从项目历史git log里提取被误提交的凭据（包括已撤销的commit），然后做脱敏替换（比如随机替换字符但不破坏格式）。这样既有真实结构，又不会泄露。
- 负样本： 从代码、日志、配置文件中随机截取不含凭据的短字符串。注意，负样本要跟正样本长度分布一致，否则模型会学偏——它可能只靠长度分辨。
- 增强样本： 用GAN生成一些假凭据，让模型见过更多“长得像但其实是假”的例子。这个在我后来的项目里，把AUC从0.91提到了0.96。
总结一下数据配比： 正负样本1:20，然后做重采样。负样本里至少要有20%是“看起来很像凭据”的文本（比如哈希值、随机字符串），否则模型学不到hard negative。这是我在生产环境试了三次才摸出来的比例。
模型评估与优化
评估指标我只看两个：F1分数 和 假阳性率（FPR）。准确率不重要，因为凭据检测是个极度不平衡的问题——99.9%的文本都不是凭据，你模型全判“否”准确率也99.9%，但毫无意义。我在项目里要求FPR必须低于0.01%，同时召回率不低于98%。
怎么做到？两个优化点：
- 阈值调整： 不要用默认0.5。我的经验是取验证集上FPR=0.01%对应概率阈值，比如0.93。
- 集成学习： 用三个异构模型（随机森林 + 逻辑回归 + 小BERT）做投票，两个投“是”才判凭据。虽然推理时间翻了一倍，但误报几乎降零。
代码实战：一个极简的训练脚本
下面这个片段是我摘出来的核心部分。注意，特征函数我用的是「统计特征 + 关键词上下文特征」，因为实际项目中随机森林+这两个特征就够用了。你复制就能跑，但训练数据你得自己准备。
import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import precision_recall_fscore_support
def extract_features(text: str) -> dict:
"""提取统计特征和上下文关键词特征"""
import math, re
length = len(text)
upper_ratio = sum(1 for c in text if c.isupper()) / max(length, 1)
digit_ratio = sum(1 for c in text if c.isdigit()) / max(length, 1)
special_ratio = sum(1 for c in text if not c.isalnum()) / max(length, 1)
# 熵
prob = [text.count(ch) / length for ch in set(text)]
entropy = -sum(p * math.log2(p) for p in prob if p > 0)
# 上下文关键词（假设文本附近已经被预处理包裹）
# 实际使用时需要传入前后context
keyword_score = 1.0 if re.search(r'(?:password|secret|key|)', text.lower()) else 0.0
return {
'length': length,
'upper_ratio': upper_ratio,
'digit_ratio': digit_ratio,
'special_ratio': special_ratio,
'entropy': entropy,
'keyword_score': keyword_score
}
def train_model(X_texts, y_labels):
X = pd.DataFrame([extract_features(t) for t in X_texts])
clf = RandomForestClassifier(n_estimators=120, max_depth=12, random_state=42)
clf.fit(X, y_labels)
return clf
# 假设已经准备了 X_train, y_train
# model = train_model(X_train, y_train)
嗯，这个 feature extractor 很简单，但你把它跑在真实凭据上，你会发现逻辑回归的准确率已经能到85%以上。剩下的5%差距，就是在结构特征和阈值调优上补的。