设置爬虫的用户代理可以防止网站防火墙、反爬虫机制等屏蔽、封锁或限制访问。以下是设置爬虫的用户代理的详细攻略：
什么是用户代理
用户代理（User-Agent）指客户端向服务器发送HTTP请求时的应用程序名称、操作系统、应用程序版本、Web浏览器名称、浏览器版本、语言等内容的一个字符串。大多数服务器都会将用户代理存储到访问日志中，以便管理员了解访客所使用的设备、浏览器及语言。
为什么要设置用户代理
有些服务器会拒绝没有用户代理的访问，有些服务器会根据用户代理来判断访客身份并返回不同的响应。例如，有些网站会在移动端设备上返回移动版页面，而在桌面端设备上返回桌面版页面。由于爬虫没有特定的用户代理，有些页面可能无法正常获取。
如何设置用户代理
设置用户代理主要有以下两种方法：
1.在HTTP请求头中添加
在爬虫的HTTP请求头中，添加”User-Agent”字段，值为您需要的用户代理。
示例代码：
import requests
url = "http://example.com"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.126"
}
response = requests.get(url, headers=headers)
print(response.text)
2.使用第三方库
使用第三方库可以方便设置用户代理。以下以fake_useragent库为例，介绍如何使用。
安装fake_useragent库：
pip install fake_useragent
示例代码：
from fake_useragent import UserAgent
import requests
user_agent = UserAgent()
headers = {"User-Agent": user_agent.random}
response = requests.get("http://example.com", headers=headers)
print(response.text)
上述代码中，使用fake_useragent库提供的UserAgent类，获取一个随机的用户代理，并添加到HTTP请求头中。
注意事项
1.用户代理可能会被网站检测到，被认为是爬虫而被封禁，可以定时更换。
2.一些网站可能会检查HTTP请求头中的其他内容，如referer、cookies等信息。如果使用的爬虫模块有自己默认的HTTP请求头，应当根据需要修改。