博客

如何解析Ajax异步加载的数据？

  • Post category:Python

网络爬虫通常使用的是基于HTTP协议的请求与响应模式，这种模式无法直接获取页面中通过Ajax异步加载的数据。因此，进行解析Ajax异步加载的数据需要使用一些特殊的技术手段来实现，包括以下的步骤：

1. 分析Ajax请求URL和参数

首先需要找到Ajax请求的URL和参数。可以通过浏览器的开发者工具在Network中查看，找到相应的XMLHttpRequest请求，从中找到请求的URL和参数。如果没有找到或者不清楚如何找到，可以通过在网上查找相关资料或者尝试在请求时添加参数。

2. 发送请求并获取响应

获取到Ajax请求的URL和参数后，需要通过编写代码发送请求，并获取到响应数据。可以使用Python中的Requests库等工具来发送Ajax请求。

import requests

url = "https://example.com/ajax_data"
params = {
   "param1": "value1",
   "param2": "value2"
}

response = requests.get(url, params=params)

3. 解析响应数据

获取到响应数据后，需要对其进行解析，以获取需要的数据。通常响应数据为JSON格式，可以使用Python的JSON库将其转换为字典格式。

import json

json_data = json.loads(response.text)
data = json_data["data"]

接下来，需要根据具体的需求对数据进行进一步的处理和提取操作。如将抓取的数据存入本地数据库、生成报表等。

示例1

下面是一个简单的示例，获取美团餐厅的店铺列表数据：

import requests
import json

url = "https://www.meituan.com/meishi/api/poi/getPoiList?cityName=%E5%8C%97%E4%BA%AC&cateId=0&areaId=0&sort=&dinnerCountAttrId=&page=1&userId=&uuid=7d6d954b6b1141c198ec.1610401611.1.0.0&platform=1&partner=126&originUrl=https%3A%2F%2Fwww.meituan.com%2Fmeishi%2F&riskLevel=1&optimusCode=1&_token=eJx1Td0KgjAQBf9F3PdxlYdeiA%2BQd0QoJJjKijZ1BICpcWCt9Xv2uqx7VYn4t4%2FWz5vzuH3ZnTk5g5S14bW8X26zxgtXMlLIpYpwlaC-ARW8BJ%2ABz7ZDO28f2QzLODLREoOvClSzY1YotPNponFylWIO54EJkrOeO7ZmQ2%2AQ025XRVQ0NVaV7Ps0TV1%2Ac7l28EBv3FgPENZ5G5S20fXpGHko3qwsMjKlvPH%2A7dH2bdz6KjMO6rAtzrA9X9UdA6UyTfTJImSk_Ps15zJLyLrdnyZPTFKUZJcTyQft%2A-Ef%2A9Mfd9bRB-Rur3ZNO06bHjz92-bx_B-zh1s.%2AaYXTLA.XgLjHB9X35U6h-08JzvKAzxTlU&__vhost=www.meituan.com&cookieUuid=7d6d954b6b1141c198ec.1610401611.1.0.0"

response = requests.get(url)
json_data = json.loads(response.text)
data = json_data["data"]["poiInfos"]

for item in data:
    print(item["poiId"], item["title"])

示例2

下面是一个更加复杂的示例，这个示例是在一个使用Vue.js实现的单页面Web应用中抓取商品列表数据：

import requests
import json

url = "https://example.com/api/get_goods_list"
params = {
    "page": 1,
    "sort": "price"
}

headers = {
    "X-Requested-With": "XMLHttpRequest",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"
}

session = requests.Session()
session.headers.update(headers)

response = session.get(url, params=params)
json_data = json.loads(response.text)
data = json_data["data"]

for item in data:
    print(item["id"], item["name"], item["price"])

在这个示例中，需要设置请求头信息，并使用请求会话来发送请求。

Tags: