博客

网络爬虫是一种自动化程序，用于从互联网上收集信息。数据获取是网络爬虫的主要功能之一。网络爬虫可以采用多种方式获取数据，这里介绍其中比较常用的几种方式：

1. 使用Requests库进行HTTP请求

Requests库是Python中的一个HTTP库，可以和网站进行交互，模拟浏览器请求数据。使用Requests库可以发送HTTP请求，获取网站返回的HTML页面，从中解析出需要的数据。以下是一个使用Requests库获取网页数据的示例：

import requests

url = 'https://www.baidu.com'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

print(response.text)

在这个例子中，我们使用Requests库来发送一个GET请求，获取百度首页的HTML页面，并输出页面内容。需要注意的是，头部信息中的User-Agent必须要有，否则百度等一些网站会返回错误页面。

1. 使用Scrapy框架进行爬虫

Scrapy是Python中一个比较成熟的爬虫框架，它提供了一整套用于爬虫的组件。使用Scrapy框架，可以更加方便地定义请求、提取数据、处理页面等工作。以下是一个简单的Scrapy爬虫示例：

import scrapy


class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

这个Scrapy爬虫的作用是从http://quotes.toscrape.com/网站中抓取名言警句。在这个示例中，我们定义了一个QuotesSpider类，定义了起始URL和数据提取方式等信息。使用Scrapy框架可以省去一大堆HTTP请求相关的代码，更加便捷地进行数据抓取。

综上所述，网络爬虫的数据获取方式非常多样化，可以根据不同的需求和技术栈选择不同的方式进行抓取。