博客

python爬取网站数据保存使用的方法

  • Post category:Python

在Python中，我们可以使用第三方库如requests和BeautifulSoup来爬取网站数据，并将数据保存到本地文件或数据库中。本文将详细介绍Python爬取网站数据保存使用的方法，并提供两个示例说明。

1. 爬取网站数据

1.1 使用requests库发送HTTP请求

requests库是一个常用的HTTP请求库，可以用于发送HTTP请求并获取响应数据。以下是一个使用requests库发送HTTP请求的示例：

import requests

url = 'https://www.example.com'
response = requests.get(url)

print(response.text)

在以上示例中，我们使用requests.get()方法发送一个GET请求，并获取响应数据。response.text属性返回响应数据的文本内容。

1.2 使用BeautifulSoup库解析HTML文档

BeautifulSoup库是一个常用的HTML解析库，可以用于解析HTML文档并提取数据。以下是一个使用BeautifulSoup库解析HTML文档的示例：

from bs4 import BeautifulSoup
import requests

url = 'https://www.example.com'
response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser')
title = soup.title.string

print(title)

在以上示例中，我们使用BeautifulSoup库解析HTML文档，并提取文档中的标题信息。soup.title.string属性返回HTML文档中的标题内容。

2. 保存网站数据

2.1 保存数据到本地文件

以下是一个将网站数据保存到本地文件的示例：

import requests

url = 'https://www.example.com'
response = requests.get(url)

with open('example.html', 'w', encoding='utf-8') as f:
    f.write(response.text)

在以上示例中，我们使用open()函数创建一个文件对象，并将响应数据写入到文件中。'w'参数表示以写入模式打开文件，encoding='utf-8'参数表示使用UTF-8编码保存文件。

2.2 保存数据到数据库

以下是一个将网站数据保存到MySQL数据库的示例：

import mysql.connector
import requests

url = 'https://www.example.com'
response = requests.get(url)

mydb = mysql.connector.connect(
  host="localhost",
  user="yourusername",
  password="yourpassword",
  database="mydatabase"
)

mycursor = mydb.cursor()

sql = "INSERT INTO websites (url, content) VALUES (%s, %s)"
val = (url, response.text)
mycursor.execute(sql, val)

mydb.commit()

print(mycursor.rowcount, "record inserted.")

在以上示例中，我们使用mysql.connector库连接MySQL数据库，并将网站数据保存到数据库中。mycursor.execute()方法执行SQL语句，mydb.commit()方法提交事务。

Tags: