引言
在互联网信息爆炸的时代，从网页中抓取所需数据已经成为许多开发者和研究者的重要技能。Python作为一种功能强大的编程语言，提供了多种库来帮助我们实现这一目标。本文将详细介绍如何使用Python抓取网页源码，并将其自动保存到TXT文件夹中。
准备工作
在开始之前，请确保你的Python环境中已经安装了以下库：
requests：用于发送HTTP请求。BeautifulSoup：用于解析HTML和XML文档。
你可以使用以下命令来安装这些库：
pip install requests beautifulsoup4
抓取网页源码
1. 发送HTTP请求
首先，我们需要使用requests库发送HTTP请求到目标网页，获取网页的HTML内容。
import requests
url = 'http://example.com' # 替换为你想要抓取的网页URL
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
html_content = response.text
else:
print(f"无法获取网页内容，状态码：{response.status_code}")
html_content = ""
2. 解析HTML内容
接下来，我们使用BeautifulSoup库解析HTML内容，提取所需的数据。
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
3. 提取数据
根据你的需求，提取网页中的数据。以下是一个简单的例子，提取网页中的所有标题：
titles = [title.get_text() for title in soup.find_all('h1', 'h2', 'h3', 'h4', 'h5', 'h6')]
保存数据到TXT文件
1. 创建文件夹
首先，我们需要创建一个文件夹来保存TXT文件。
import os
folder_path = 'webpage_sourcelist'
if not os.path.exists(folder_path):
os.makedirs(folder_path)
2. 保存数据
将提取的数据保存到TXT文件中。
file_path = os.path.join(folder_path, 'data.txt')
with open(file_path, 'w', encoding='utf-8') as file:
for title in titles:
file.write(title + '\n')
完整代码示例
以下是一个完整的Python脚本，用于抓取网页源码并将其保存到TXT文件夹中：
import requests
from bs4 import BeautifulSoup
import os
# 网页URL
url = 'http://example.com'
# 发送HTTP请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
html_content = response.text
else:
print(f"无法获取网页内容，状态码：{response.status_code}")
html_content = ""
# 解析HTML内容
soup = BeautifulSoup(html_content, 'html.parser')
# 提取数据
titles = [title.get_text() for title in soup.find_all('h1', 'h2', 'h3', 'h4', 'h5', 'h6')]
# 创建文件夹
folder_path = 'webpage_sourcelist'
if not os.path.exists(folder_path):
os.makedirs(folder_path)
# 保存数据
file_path = os.path.join(folder_path, 'data.txt')
with open(file_path, 'w', encoding='utf-8') as file:
for title in titles:
file.write(title + '\n')
通过以上步骤，你就可以使用Python轻松地抓取网页源码并将其保存到TXT文件夹中了。希望本文能帮助你揭开Python抓取网页源码的神秘面纱。