Python爬虫入门教程

什么是爬虫？

爬虫（Spider）指的是按照一定的规则自动抓取互联网信息的程序。爬虫可以获取到一些人类无法轻易访问的网页数据，并整理化为可供人们利用的格式。

为什么要学习爬虫？

在当今这个信息化时代，Internet是每个人都无法绕过的东西。而爬虫则是获取网页数据的重要途径之一，可以让我们获取到丰富的互联网信息，同时也能让我们更好地运用这些数据服务于自己的个人或商业需求。特别是在大数据时代，数据价值不言而喻，能够将数据抓取下来，并进行深度挖掘的爬虫极受欢迎。

爬虫环境配置

先确定使用的操作系统，再下载对应版本的Python安装包。接着安装第三方爬虫框架requests、BeautifulSoup、Scrapy等。在学习Python爬虫过程中，通常还会用到一些辅助工具，如Fiddler、Burp Suite等。

爬虫基本步骤

1. 发送请求：确定待爬取的URL，并借助requests模块向对应的URL发送请求，如requests.get(url)或requests.post(url)等。
2. 解析内容：获取到返回的网页内容后，通常需要使用BeautifulSoup等解析库，对获取到的网页信息进行解析。
3. 数据提取：根据需求，在解析出的内容中进行数据提取。
4. 存储数据：将以上步骤中获取到的数据进行处理、清洗，并将其储存于文件中。

示例1：爬取豆瓣电影Top250

以下为示例代码，主要通过requests和BeautifulSoup模块来爬取豆瓣电影Top250页面上的信息：

import requests
from bs4 import BeautifulSoup

# 请求URL并把结果用UTF-8编码
res = requests.get('https://movie.douban.com/top250', headers=headers, timeout=10)
res.encoding = 'utf-8'

# 解析HTML
soup = BeautifulSoup(res.text, 'html.parser')

# 筛选出所有的电影条目
movies = soup.select('.item')

# 遍历电影条目并提取出信息
for movie in movies:
    # 提取电影标题和评分
    title = movie.select('.title')[0].text
    score = movie.select('.rating_num')[0].text

    # 输出电影名称和评分
    print(title, score)

示例2：爬取新浪新闻

以下为示例代码，主要通过requests和正则表达式来爬取新浪新闻页面上的信息：

import requests
import re

# 请求URL并把结果用gzip解压
res = requests.get('http://news.sina.com.cn/', headers=headers, timeout=10)
res.encoding = 'gzip'

# 从HTML中筛选出新闻链接
urls = re.findall('<a href="(http://news.sina.com.cn/.+?)"', res.text)

# 遍历新闻链接并输出标题
for url in urls:
    # 请求新闻链接并把结果用UTF-8编码
    news = requests.get(url)
    news.encoding = 'utf-8'

    # 从HTML中提取新闻标题
    title = re.search('<h1>(.*?)</h1>', news.text)

    # 输出新闻标题
    print(title.group(1))

总结

爬虫作为一种重要的数据获取方式，在如今的互联网时代发挥着不可替代的作用。通过对Python爬虫及其基本步骤的学习，大家已经可以掌握一定的爬虫技巧，并借此来满足自己的需求。