在海量文本信息中，快速定位核心内容是数据处理的关键环节。Python 凭借丰富的生态库，能够高效实现关键词的批量提取。本文将围绕 Python 批量提取关键词代码，详细介绍几种主流的实现方法与完整示例，帮助开发者在 2026 年的数据处理场景中，快速构建高可用的文本分析流水线。
基于 TF-IDF 算法的批量关键词提取
TF-IDF（词频-逆文档频率）是传统的文本特征提取算法，其核心思想是通过评估字词在语料库中的重要程度来提取关键词。在 Python 中，scikit-learn 库提供了封装好的 TfidfVectorizer 类，非常适合处理批量文本数据。
以下代码展示了如何读取一批文本数据，并计算每篇文档中得分最高的 Top N 个关键词：
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer

# 模拟一批文本数据
documents = [
    "Python 是一种广泛使用的高级编程语言，支持多种编程范式。",
    "自然语言处理是人工智能的重要分支，Python 在其中发挥巨大作用。",
    "数据分析通常需要使用 Pandas 和 NumPy 库，这些是 Python 的核心库。"
]

# 初始化 TF-IDF 提取器，去除停用词和标点
vectorizer = TfidfVectorizer(max_features=1000)
# 也可以使用 jieba 分词后的空格分隔字符串
tokenized_docs = [" ".join(jieba.cut(doc)) for doc in documents]

tfidf_matrix = vectorizer.fit_transform(tokenized_docs)

# 获取特征词列表
feature_array = vectorizer.get_feature_names_out()

# 批量提取每篇文档的 Top 3 关键词
top_n = 3
for i in range(tfidf_matrix.shape[0]):
    # 获取当前文档的 TF-IDF 向量
    row = tfidf_matrix.getrow(i)
    # 排序并获取得分最高的 Top N 索引
    sorted_indices = row.toarray()[0].argsort()[::-1][:top_n]
    keywords = [feature_array[idx] for idx in sorted_indices]
    print(f"文档 {i+1} 的关键词: {keywords}")

在使用 TF-IDF 时，需要特别注意中文文本需先经过分词处理。上述代码结合了 jieba 库进行预分词，能够有效解决中文词语边界问题。批量处理时，建议将文本存入列表或 Pandas DataFrame，通过矩阵运算一次性获取所有文档的关键词，避免循环读取带来的性能损耗。
利用 TextRank 算法构建提取流水线
TextRank 算法受 PageRank 启发，通过构建词语间的共现网络来计算词语重要度。这种方法不需要预先训练语料库，适合对独立性强的单篇或多篇文本进行批量提取。Python 的 jieba 库内置了 TextRank 算法。
import jieba.analyse

# 批量文本数据
texts = [
    "深度学习在图像识别领域取得了突破性进展，卷积神经网络是其中的关键技术。",
    "随着大语言模型的演进，自然语言理解能力大幅提升，GPT 系列模型成为标杆。"
]

# 批量提取关键词
for idx, text in enumerate(texts):
    # 允许词性过滤、自定义停用词等
    keywords = jieba.analyse.textrank(text, topK=5, withWeight=False)
    print(f"文本 {idx+1} 提取结果: {keywords}")

对于企业级应用，当文本数据量极大时，可以通过 Python 的 multiprocessing 模块实现并行提取。将文本列表分块后分配给多个进程，每个进程内部独立调用 jieba.analyse.textrank，最后合并结果。这种流水线设计能充分利用多核 CPU 资源，将数百兆文本的关键词提取时间从小时级压缩至分钟级。
结合 KeyBERT 模型提取深度语义关键词
随着深度学习的发展，基于预训练语言模型的关键词提取方法逐渐成为主流。KeyBERT 包裹了 BERT 模型，通过计算文档向量与候选词向量的余弦相似度来提取关键词。这种方法能捕捉到深层的语义信息，提取结果往往比传统算法更贴近人类理解。
以下代码演示了 KeyBERT 的批量提取流程：
from keybert import KeyBERT
import jieba

# 初始化模型（首次运行会自动下载权重）
kw_model = KeyBERT()

documents = [
    "随着 2026 年空间计算技术的成熟，混合现实设备将重塑人机交互方式。",
    "边缘计算与 5G 网络的结合，使得自动驾驶汽车的决策延迟大幅降低。"
]

# 才在 KeyBERT 前使用 jieba 分词，提取候选词，避免 BERT 中文分词效果不佳的问题
tokenized_documents = [" ".join(jieba.cut(doc)) for doc in documents]

# 批量提取
for i, doc in enumerate(tokenized_documents):
    # 提取 Top 5 关键词
    keywords = kw_model.extract_keywords(doc, keyphrase_ngram_range=(1, 2), stop_words=None, top_n=5)
    print(f"文档 {i+1} 语义关键词: {[kw[0] for kw in keywords]}")

KeyBERT 的优势在于其语义理解能力，能够识别出文本中未直接出现但语义高度相关的关键词。在批量处理过程中，由于 BERT 模型的推理计算资源消耗较大，建议对输入文本进行截断（如限制最大长度 512 个 token），或者在云端 GPU 服务器上部署该代码。
总结与工程实践建议
在实际的工程应用中，选择哪种关键词提取方法需要根据具体场景权衡。TF-IDF 适合数据量巨大且计算资源有限的场景；TextRank 适合对单篇文本进行无监督快速提取；KeyBERT 则适用于对语义准确度要求极高的核心业务场景。
无论采用哪种方法，都需要建立完善的停用词库。停用词库应包含常见的标点符号、代词、连词以及特定业务领域的高频无意义词汇。此外，对于批量处理后的结果，建议使用 Pandas 将数据结构化后存入 CSV 或数据库，便于后续的二次分析与可视化展示。