python爬虫程序

# Python爬虫程序示例

import requests
from bs4 import BeautifulSoup

# 目标URL
url = 'https://example.com'

# 发送HTTP请求
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')

    # 查找所有标题标签<h1>
    titles = soup.find_all('h1')

    # 打印所有标题
    for title in titles:
        print(title.get_text())
else:
    print("请求失败，状态码:", response.status_code)

解释说明：

1. 导入库：我们使用 requests 库来发送HTTP请求，并使用 BeautifulSoup 来解析HTML内容。
2. 目标URL：设置要爬取的网页URL。
3. 发送请求：使用 requests.get() 方法发送GET请求。
4. 检查响应状态码：确保请求成功（状态码为200）。
5. 解析HTML：使用 BeautifulSoup 解析返回的HTML内容。
6. 查找和打印标题：使用 find_all() 方法查找所有的 <h1> 标签，并打印其文本内容。

如果需要更复杂的爬虫功能或处理更多细节，请根据具体需求进行调整。