博客

如何使用Session？

  • Post category:Python

网络爬虫使用Session可以在多次请求中保留相同的参数和状态，避免重复登录和cookie失效等问题，提高爬虫效率和稳定性。下面是Session的详细讲解和使用示例：

Session的简介

Session是指在一次会话中建立的会话状态，可以存储用户的登录状态、购物车等信息。Session的实现需要借助于cookie，即将Session ID存储在cookie中传递给服务器，服务器将Session ID与相应的用户状态关联起来。在爬虫中，可以使用requests库的Session对象来模拟浏览器的会话状态，实现登录、保持cookie等功能。

Session的使用方法

使用requests库创建Session对象，然后发送请求即可。

import requests

# 创建Session对象
s = requests.Session()

# 添加headers、cookies等信息
headers = {}
cookies = {}

# 发送请求
r = s.get(url, headers=headers, cookies=cookies)

在上述代码中，首先创建了一个Session对象s，然后使用s.get()方法发送请求，并传递headers和cookies等参数，这些参数将在后续的请求中保持不变。Session对象中包含了cookie和相关的状态信息，因此可以避免重复登录和cookie失效等问题。

Session的示例使用

下面是两个实际应用场景的示例，分别为模拟登录和爬取包含验证码的动态网页。

示例一：模拟登录

下面是使用Session模拟登录的示例代码。

import requests

# 创建Session对象
s = requests.Session()

# 登录页面的URL
login_url = 'https://www.example.com/login.php'

# 登录时提交的表单数据
login_data = {'username': 'user1', 'password': '123456'}

# 发送登录请求
s.post(login_url, data=login_data)

# 登录成功后，可以使用s对象发送需要登录认证的请求
r = s.get('https://www.example.com/profile.php')

在上述代码中，首先创建了一个Session对象s，然后将登录页面的URL和登录时提交的表单数据login_data传递给s.post()方法，发送登录请求。如果登录成功，s对象中保存了登录状态和cookie信息。在后续的请求中，只需要使用s对象即可，无需重复登录。

示例二：爬取包含验证码的动态网页

下面是使用Session爬取包含验证码的动态网页的示例代码。

import requests
from PIL import Image
from io import BytesIO

# 创建Session对象
s = requests.Session()

# 登录页面的URL
login_url = 'https://www.example.com/login.php'

# 获取验证码图片的URL
captcha_url = 'https://www.example.com/captcha.php'

# 获取验证码图片
r = s.get(captcha_url)
img = Image.open(BytesIO(r.content))
img.show()

# 输入验证码
captcha_code = input('请输入验证码：')

# 登录时提交的表单数据
login_data = {'username': 'user1', 'password': '123456', 'captcha': captcha_code}

# 发送登录请求
s.post(login_url, data=login_data)

# 登录成功后，可以使用s对象请求包含用户信息的网页
user_url = 'https://www.example.com/user.php'
r = s.get(user_url)
print(r.text)

在上述代码中，首先创建了一个Session对象s，然后向登录页面发送请求，获取验证码图片并显示。用户输入验证码后，将登录页面的URL、表单数据和验证码一起提交给s.post()方法，模拟登录。登录成功后，使用s对象请求包含用户信息的网页，即可获取用户信息。在此过程中，s对象中保存了登录状态和cookie信息，用于后续的请求。

Tags: