python 爬虫

作者：妳明白莪還在等待嗎？发布日期:2025-05-21 浏览:64

# Python 爬虫示例代码

import requests
from bs4 import BeautifulSoup

# 发送HTTP请求获取网页内容
url = 'https://example.com'
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')

    # 查找并打印网页标题
    title = soup.find('title').get_text()
    print(f"网页标题: {title}")
else:
    print("请求失败")

# 解释说明：
# 1. 使用requests库发送HTTP GET请求获取目标网页的HTML内容。
# 2. 使用BeautifulSoup库解析HTML文档，提取所需数据（如网页标题）。
# 3. 检查HTTP响应状态码，确保请求成功。
# 4. 使用find方法查找<title>标签，并使用get_text()方法提取文本内容。

如果你需要更复杂的爬虫功能或处理其他类型的网页内容，请根据具体需求调整代码。

上一篇：python range函数

下一篇：print在python中用法