四、日志特征提取：让机器读懂你的日志

日志是文本，模型只认数字。这个矛盾怎么解决？

说白了，我们需要把「用户登录失败三次」这样的句子，转成一串向量。这个转换过程，就叫特征提取。

我做了这么多年日志分析，见过太多人直接拿原始文本丢给模型。结果呢？模型完全抓不住重点，误报率高得离谱。特征提取不是随便选个方法就行的，选错了，后面全是坑。

4.1 TF-IDF：经典但别迷信

TF-IDF，全称 Term Frequency-Inverse Document Frequency。很多教科书把它讲得很玄乎，其实核心思想就一句话：一个词在一条日志里出现次数越多，同时在其他日志里出现越少，这个词就越重要。

举个例子，「error」这个词在很多日志里都有，那TF-IDF会认为它不那么重要。但「OOM」这个词只在内存溢出日志里出现，那就非常关键。

计算公式长这样：

TF(t, d) = 词t在文档d中出现的次数 / 文档d的总词数
IDF(t) = log(总文档数 / 包含词t的文档数)
TF-IDF = TF * IDF

我个人习惯用sklearn的实现，上手很快：

from sklearn.feature_extraction.text import TfidfVectorizer

vectorizer = TfidfVectorizer(max_features=5000, ngram_range=(1,3))
X = vectorizer.fit_transform(log_messages)
print(X.shape)  # (日志条数, 特征维度)

4.2 Word2Vec：捕捉上下文语义

TF-IDF有个硬伤——它完全无视词的顺序和上下文。你想想看，「内存不足导致OOM」和「OOM导致内存不足」，在TF-IDF眼里是一模一样的。

这就引出了Word2Vec。它的核心假设：一个词的语义，由它周围的词决定。

Word2Vec有两种训练模式：

模式	原理	我的建议
CBOW	用上下文预测当前词	日志模板稳定时效果好
Skip-gram	用当前词预测上下文	日志变体多时更鲁棒

我一般这样用：

from gensim.models import Word2Vec

sentences = [log.split() for log in log_messages]
model = Word2Vec(sentences, vector_size=100, window=5, min_count=5)
# 查看"error"的相似词
print(model.wv.most_similar('error'))
# 输出：[('failure', 0.82), ('exception', 0.79), ('crash', 0.75)]

避坑指南： 我曾经在一个只有500条日志的项目里用Word2Vec，结果效果惨不忍睹。为什么？数据量太小了，上下文统计根本不稳定。你至少得有1万条日志，Word2Vec才能学出有用的语义。

4.3 TF-IDF vs Word2Vec：什么时候选谁

很多新手纠结选哪个。我的经验是：

• 日志模板稳定、格式统一：选TF-IDF，简单高效，可解释性强。
• 日志变化多端、同义词多：选Word2Vec，能捕捉语义相似性。
• 两者结合：把TF-IDF和Word2Vec的向量拼接起来，效果往往更好。我最近几个项目都是这样做的。

4.4 特征提取的关键决策点

光选对方法还不够，几个超参数如果调不好，结果会差很多。这是我总结的实测经验：

参数	推荐范围	调大后果	调小后果
max_features	3000-8000	维度灾难，过拟合	信息损失严重
ngram_range	(1,2) 或 (1,3)	特征爆炸	丢失短语信息
vector_size(Word2Vec)	100-200	噪声增多	语义表达能力不足
window(Word2Vec)	5-10	引入无关上下文	语义范围太窄

4.5 拓展：为什么有时候需要BERT?

Word2Vec是上下文无关的——每个词只有唯一一个向量。但在日志场景里，「error」在「no error」里和「error occurs」里含义完全相反。

这时候就需要BERT这类预训练模型。它能通过Attention机制，让同一个词在不同上下文里得到不同向量。

嗯，特征提取就讲到这里。我始终觉得，方法不在多，在于用得巧。理解每种方法背后的假设，结合你的日志特点去选，就不会出错。