在大数据时代，关键词是连接用户需求与网站内容的桥梁。对于 SEO 优化、竞品分析和内容策略制定而言，挖掘海量且精准的关键词库是第一步。然而，手动收集关键词不仅耗时费力，且难以覆盖长尾流量。借助 Python 强大的网络请求与文本处理能力，我们可以编写一套自动化挖掘网站关键词的代码，实现全流程的数据采集与分析。本文将围绕 Python 自动化挖掘网站关键词的代码实现，从环境准备到核心逻辑，再到实际应用进行详细拆解。
一、环境准备与依赖库安装
在编写自动化挖掘代码之前，需要搭建好 Python 运行环境并安装必要的第三方库。整个挖掘流程涉及网络请求、网页解析和数据存储三个核心环节，因此我们需要用到以下工具包：

requests：用于发送 HTTP 请求，获取目标网页的 HTML 源码。对于一些动态加载的网站，可结合 selenium 或 playwright 进行处理。
BeautifulSoup4：HTML 解析库，配合 lxml 解析器，能够快速从复杂的网页结构中提取出文本内容。
jieba：中文分词库，用于对抓取到的网页文本进行分词处理，这是中文关键词挖掘的关键步骤。
pandas：数据处理库，用于对挖掘出的关键词进行词频统计、去重和导出为 Excel/CSV 文件。

安装命令如下：
pip install requests beautifulsoup4 lxml jieba pandas

环境配置完毕后，即可开始编写核心代码。
二、核心代码实现：从网页抓取到关键词提取
自动化挖掘关键词的逻辑分为三步：请求网页获取源码、解析 HTML 提取文本、分词与过滤提取关键词。以下是完整的代码实现：
import requests
from bs4 import BeautifulSoup
import jieba.analyse
import pandas as pd
import re

# 1. 定义请求头与目标 URL
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}
target_url = 'https://www.example.com' # 替换为实际目标网站

# 2. 获取并解析网页
response = requests.get(target_url, headers=headers, timeout=10)
response.encoding = 'utf-8'
soup = BeautifulSoup(response.text, 'lxml')

# 提取网页的 title 和 meta keywords 作为基础词
page_title = soup.title.string if soup.title else ''
meta_keywords = soup.find('meta', attrs={'name': 'keywords'})
meta_keywords = meta_keywords['content'] if meta_keywords else ''

# 3. 清洗网页正文文本
# 移除 script 和 style 标签内容
for script in soup(["script", "style"]):
    script.extract()

text = soup.get_text()
# 去除空行和多余空格
text = re.sub(r'\s+', ' ', text).strip()

# 4. 使用 jieba 提取关键词
# 结合 TextRank 算法和 TF-IDF 算法
keywords_tfidf = jieba.analyse.extract_tags(text, topK=20, withWeight=True)
keywords_textrank = jieba.analyse.textrank(text, topK=20, withWeight=True)

# 合并去重并附加基础词
all_keywords = set()
for word, weight in keywords_tfidf + keywords_textrank:
    all_keywords.add(word)

if page_title:
    all_keywords.add(page_title)
if meta_keywords:
    all_keywords.update(meta_keywords.split(','))

print(f"挖掘到的关键词: {all_keywords}")

# 5. 数据存储
kw_list = list(all_keywords)
df = pd.DataFrame(kw_list, columns=['Keyword'])
df.to_csv('keywords_output.csv', index=False, encoding='utf-8-sig')

上述代码实现了一个单页面的关键词挖掘闭环。首先通过 requests 获取网页源码，利用 BeautifulSoup 清洗出纯文本，随后通过 jieba 的 TF-IDF 与 TextRank 双算法提取核心词，最后将结果导出为 CSV 文件。
三、深度拓展：批量化与长尾词挖掘策略
单页面挖掘只是基础，实际业务中往往需要批量处理整个网站。此时需要对代码进行进阶拓展，引入多线程和链接队列管理。
1. 站点全量爬取架构
要实现全站关键词挖掘，需要引入广度优先的爬虫逻辑。使用 collections.deque 维护待抓取的 URL 队列，利用 urllib.parse 进行域名判断，确保爬虫只在目标网站内运行。核心扩展逻辑如下：
from collections import deque
from urllib.parse import urlparse, urljoin
import time

visited_urls = set()
queue = deque([target_url])
max_pages = 50 # 限制抓取页数防止死循环

while queue and len(visited_urls) < max_pages:
    current_url = queue.popleft()
    if current_url in visited_urls:
        continue
    
    try:
        # 复用前文的提取逻辑
        # 此处省略获取和解析代码，重点展示链接发现
        for link in soup.find_all('a', href=True):
            full_url = urljoin(current_url, link['href'])
            # 仅保留同域名下的链接
            if urlparse(full_url).netloc == urlparse(target_url).netloc:
                if full_url not in visited_urls:
                    queue.append(full_url)
        
        visited_urls.add(current_url)
        time.sleep(1) # 控制抓取频率，减轻服务器压力
    except Exception as e:
        print(f"抓取失败: {current_url}，错误信息: {e}")

2. 长尾关键词组合
对于 SEO 而言，长尾关键词通常具有高转化率。在获取核心关键词后，可通过拼接地域词、疑问词、修饰词来自动生成海量长尾词。例如，挖掘到核心词“云服务器”，可以自动匹配“价格”、“哪个好”等词库，生成“云服务器价格”、“云服务器哪个好”等长尾关键词库。
四、应用场景与注意事项
这套 Python 自动化代码可广泛应用于电商选品、内容矩阵搭建、竞品流量词分析等场景。但在实际运行中，必须关注合规性与稳定性。
首先，严格遵守目标网站的 robots.txt 协议，不抓取非公开数据，且控制并发频率，避免对目标服务器造成带宽压力。其次，针对使用 AJAX 动态渲染的网站，需将 requests 替换为 selenium，通过模拟浏览器行为获取完整渲染后的页面源码。最后，建议建立本地同义词库与停用词库，在 jieba 分词前加载自定义词典，能有效提升专业术语的识别准确率，过滤掉“登录”、“注册”等无意义噪声词。
将这套代码部署到服务器并设置定时任务，即可实现关键词库的日级更新，为网站流量增长提供源源不断的数据燃料。