特征工程中之八：语义分析和大规模文本数据处理系统库Gensim

Gensim 是一个专注于非监督文本建模的 Python 库，尤其擅长处理大规模文本数据的语义分析任务。它提供了高效的算法实现（如 Word2Vec、Doc2Vec、TF-IDF 等），支持从文本中提取隐含语义特征。以下是其核心概念和典型用法。

1. Gensim 核心概念

2. 安装与基础用法

pip install gensim

3. 典型工作流程

（1）文本预处理与字典构建

from gensim import corpora
# 原始文本（分词后）
documents = [
    ["apple", "banana", "fruit"],
    ["apple", "orange", "juice"],
    ["banana", "milk", "breakfast"]
]
# 创建字典
dictionary = corpora.Dictionary(documents)
print("词汇表:", dictionary.token2id)  # 输出: {'apple': 0, 'banana': 1, ...}
# 将文档转换为词袋向量
corpus = [dictionary.doc2bow(doc) for doc in documents]
print("词袋表示:", corpus)

输出：

词袋表示: [
    [(0, 1), (1, 1), (2, 1)],  # "apple"出现1次，"banana"1次，"fruit"1次
    [(0, 1), (3, 1), (4, 1)],  # ...
    [(1, 1), (5, 1), (6, 1)]
]

（2）TF-IDF 加权

from gensim.models import TfidfModel
# 基于词袋构建TF-IDF模型
tfidf = TfidfModel(corpus)
# 应用TF-IDF转换
tfidf_corpus = tfidf[corpus]
for doc in tfidf_corpus:
    print(doc)  # 输出: [(词ID, TF-IDF权重), ...]

4. 经典模型应用

（1）Word2Vec 训练词向量

from gensim.models import Word2Vec
# 训练Skip-gram模型
model = Word2Vec(
    sentences=documents,  # 分词后的文本
    vector_size=100,      # 词向量维度
    window=5,            # 上下文窗口
    sg=1,                # 1=Skip-gram, 0=CBOW
    min_count=1          # 忽略低频词
)
# 获取词向量
vector = model.wv["apple"]
print("apple的词向量:", vector.shape) 
# 查找相似词
similar_words = model.wv.most_similar("apple", topn=2)
print("相似词:", similar_words)  # 输出: [('orange', 0.85), ('banana', 0.82)]

（2）LDA 主题建模

from gensim.models import LdaModel
# 训练LDA模型
lda = LdaModel(
    corpus=tfidf_corpus,   # 输入TF-IDF语料
    id2word=dictionary,    # 字典映射
    num_topics=2,          # 主题数
    passes=10              # 迭代次数
)
# 打印主题
for topic in lda.print_topics():
    print(topic)

输出示例：

(0, '0.123*"apple" + 0.087*"banana" + ...')  # 主题1
(1, '0.156*"milk" + 0.092*"breakfast" + ...') # 主题2

5. 高级功能

（1）文档向量（Doc2Vec）

from gensim.models import Doc2Vec
from gensim.models.doc2vec import TaggedDocument
# 准备带标签的文档
tagged_data = [TaggedDocument(words=doc, tags=[str(i)]) for i, doc in enumerate(documents)]
# 训练Doc2Vec模型
model = Doc2Vec(
    tagged_data,
    vector_size=50,
    window=2,
    min_count=1
)
# 获取文档向量
doc_vector = model.dv["0"]  # 获取第一个文档的向量

（2）相似度查询

from gensim.similarities import MatrixSimilarity
# 构建相似度索引
index = MatrixSimilarity(tfidf_corpus, num_features=len(dictionary))
# 查询与第一个文档最相似的文档
query = tfidf_corpus[0]
sims = index[query]
print("相似度排序:", sorted(enumerate(sims), key=lambda x: -x[1]))

（3）加载预训练模型

import gensim.downloader as api
# 下载预训练GloVe词向量
glove_model = api.load("glove-wiki-gigaword-100")
# 使用预训练模型
vector = glove_model["computer"]
similar_words = glove_model.most_similar("king", topn=3)

6. 性能优化技巧

1. 流式处理大文件：

   from gensim.models.word2vec import LineSentence
   sentences = LineSentence("large_text.txt")  # 逐行读取大文件
   model = Word2Vec(sentences)
   

2. 多核加速训练：

   model = Word2Vec(sentences, workers=4)  # 使用4个CPU核心
   

3. 模型保存与加载：

   model.save("word2vec.model")
   loaded_model = Word2Vec.load("word2vec.model")
   

7. 常见问题与解决

• 问题1：词向量质量差

  解决：增加数据量、调整 window 或 vector_size 参数。

• 问题2：内存不足

  解决：使用 LineSentence 流式处理，或分块训练。

• 问题3：未登录词（OOV）

  解决：用 FastText 替代 Word2Vec（支持子词推断）。

  总结

  • Gensim 核心能力：文本向量化（Word2Vec、Doc2Vec）、主题建模（LDA）、相似度计算。
  • 适用场景：
    • 语义搜索（词/文档相似度）
    • 文本分类/聚类（特征提取）
    • 推荐系统（物品描述向量化）
    • 优势：
      • 接口简洁，支持大规模数据
      • 提供预训练模型（如 GloVe）

        通过灵活组合 Gensim 的模块，可以高效实现从文本预处理到高级语义建模的全流程任务。

        
        （图片来源网络，侵删）
        
        （图片来源网络，侵删）
        
        （图片来源网络，侵删）