requests_html

from requests_html import HTMLSession

# 创建一个HTMLSession对象
session = HTMLSession()

# 发送GET请求并获取响应
response = session.get('https://www.example.com')

# 渲染JavaScript（如果页面包含JavaScript生成的内容）
response.html.render()

# 查找所有的标题标签
titles = response.html.find('h1, h2, h3, h4, h5, h6')

# 打印所有找到的标题文本
for title in titles:
    print(title.text)

# 关闭会话
session.close()

解释说明：

1. 导入模块：requests_html 提供了 HTMLSession 类，用于发送 HTTP 请求和解析 HTML 内容。
2. 创建会话：使用 HTMLSession() 创建一个新的会话对象，类似于 requests 库中的 Session。
3. 发送请求：使用 session.get(url) 发送 GET 请求，并获取响应对象 response。
4. 渲染 JavaScript：通过 response.html.render() 渲染页面中的 JavaScript，确保可以获取动态加载的内容。
5. 查找元素：使用 response.html.find() 查找页面中的特定 HTML 元素。这里查找所有的标题标签 (h1 到 h6)。
6. 打印结果：遍历找到的标题元素，并打印它们的文本内容。
7. 关闭会话：使用 session.close() 关闭会话，释放资源。

希望这段代码和解释对你有帮助！