博客

Python Request爬取seo.chinaz.com百度权重网站的查询结果过程解析

  • Post category:Python

下面我将详细讲解PythonRequest爬取seo.chinaz.com百度权重网站的查询结果过程解析的完整实例教程。

1. 需要的模块

本示例需要使用的模块包括：

  • requests：用于发送HTTP请求，获取响应数据。
  • re：正则表达式模块，用于处理HTML页面的信息提取。
  • pandas：用于数据处理，可将获取到的结果输出到CSV文件中。

2. 实现过程解析

2.1 发送请求

首先，我们需要向目标网站发送请求，获取HTML页面的响应数据。使用requests模块的get方法发送GET请求，获取网站的HTML响应数据。

import requests

header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'}
url = 'http://seo.chinaz.com/baidu/www.baidu.com/'

response = requests.get(url, headers = header).content.decode('utf-8')

2.2 处理响应数据

获取到HTML页面的响应数据之后，我们需要对其进行处理，提取出我们所需要的信息。

使用re模块，对获取到的HTML页面进行正则表达式匹配，提取出百度权重的值。

import re

result = re.findall('<li class="active">百度权重：(.*?)</li>', response)[0]

2.3 输出结果

最后，我们将获取到的结果输出到CSV文件中，使用pandas模块实现。

import pandas as pd

data = {'url': [url], 'baidu_weight': [result]}
df = pd.DataFrame(data, columns = ['url', 'baidu_weight'])

df.to_csv('result.csv', index = False, encoding = 'utf-8-sig')

3. 示例说明

示例一

我们想要查询百度权重为5的网站，将其结果保存到result.csv文件中。代码如下：

import requests
import re
import pandas as pd

header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'}

for i in range(10):
    url = 'http://seo.chinaz.com/baidu/www.{}.com/'.format(i)
    response = requests.get(url, headers = header).content.decode('utf-8')
    result = re.findall('<li class="active">百度权重：(.*?)</li>', response)
    if len(result) > 0 and int(result[0]) == 5:
        data = {'url': [url], 'baidu_weight': result}
        df = pd.DataFrame(data, columns = ['url', 'baidu_weight'])
        df.to_csv('result.csv', mode = 'a', header = False, index = False, encoding = 'utf-8-sig')

示例二

我们想要查询多个网站的百度权重，将结果保存到result.csv文件中。代码如下：

import requests
import re
import pandas as pd

header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'}

urls = ['www.baidu.com', 'www.sina.com.cn', 'www.qq.com']

for url in urls:
    full_url = 'http://seo.chinaz.com/baidu/{}'.format(url)
    response = requests.get(full_url, headers = header).content.decode('utf-8')
    result = re.findall('<li class="active">百度权重：(.*?)</li>', response)
    data = {'url': [full_url], 'baidu_weight': result}
    df = pd.DataFrame(data, columns = ['url', 'baidu_weight'])
    df.to_csv('result.csv', mode = 'a', header = False, index = False, encoding = 'utf-8-sig')

以上就是PythonRequest爬取seo.chinaz.com百度权重网站的查询结果过程解析的完整实例教程，希望能对大家有所帮助。

Tags: ,