博客

手把手教你使用python抓取qq音乐数据

  • Post category:other

手把手教你使用Python抓取QQ音乐数据

本攻略将介绍如何使用Python抓取QQ音乐数据。我们将使用Python的requests和BeautifulSoup库来获取和解析HTML页面，并使用pandas库来处理。本攻略中，我们将提供两个示例，分别是获取热门歌曲和获取指定歌手的歌曲。

步骤

Python抓取QQ音乐数据的步骤如下：

  1. 导入所需库

在Python文件中导入所需的库，包括requests、BeautifulSoup和pandas，例如：

import requests
from bs4 import BeautifulSoup
import pandas as pd
  1. 发送HTTP请求

使用requests库发送HTTP请求，获取HTML页面，例如：

url = 'https://y.qq.com/n/yqq/toplist/4.html'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64 x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

在此示例中，我们使用.get()方法发送GET请求，获取热门歌曲页面的HTML代码。

  1. 解析HTML页面

使用BeautifulSoup库解析HTML页面，提取所需数据，例如：

soup = BeautifulSoup(response.text, 'html.parser')
song_list = soup.find_all('li', class_='js_song')

在此示例中，我们使用BeautifulSoup.find_all()方法查找HTML页面中所有class为”js_song”的li元素，即歌曲列表。

  1. 处理数据

使用pandas库处理数据，例如：

data = []
for song in song_list:
    song_name = song.find('a', class_='js_songname')['title']
    singer_name = song.find('a', class_='js_singer')['title']
    album_name = song.find('a', class_='js_album')['title']
    data.append([song_name, singer_name, album_name])
df = pd.DataFrame(data, columns=['歌曲名', '歌手名', '专辑名'])

在此示例中，我们遍历歌曲列表，提取歌曲名、歌手名和专辑名，并将数据存储在一个列表中。然后，我们使用pandas.DataFrame()方法将数据转换为DataFrame格式。

  1. 输出数据

使用pandas库将数据输出到CSV文件，例如：

df.to_csv('hot_songs.csv', index=False, encoding='utf-8-sig')

在此示例中，我们使用pandas.DataFrame.to_csv()方法将数据输出到名为”hot_songs.csv”的CSV文件中。

示例1：获取热门歌曲

以下是一个获取热门歌曲的示例：

import requests
from bs4 import BeautifulSoup
import pandas as pd

url = 'https://y.qq.com/n/yqq/toplist/4.html'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/580.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

soup = BeautifulSoup(response.text, 'html.parser')
song_list = soup.find_all('li', class_='js_song')

data = []
for song in song_list:
    song_name = song.find('a', class_='js_songname')['title']
    singer_name = song.find('a', class_='js_singer')['title']
    album_name = song.find('a', class_='js_album')['title']
    data.append([song_name, singer_name, album_name])
df = pd.DataFrame(data, columns=['歌曲名', '歌手名', '专辑名'])

df.to_csv('hot_songs.csv', index=False, encoding='utf-8-sig')

在此示例中，我们使用requests库发送GET请求，获取热门歌曲页面的HTML代码。然后，我们使用BeautifulSoup库解析HTML页面，提取歌曲列表。接下来，我们使用pandas库处理数据，将数据输出到CSV文件中。

示例2：获取指定歌手的歌曲

以下是一个获取指定歌手的歌曲的示例：

“`pythonimport requests
from bs4 import BeautifulSoup
import pandas as pd

singer_name = ‘周杰伦’
url = f’https://c.y.qq.com/soso/fcgi-bin/client_search_cp?p=1&n=20&w={singer_name}’
headers = {
User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.9.110 Safari/537.3’}
response = requests.get(url, headers=headers)

soup = BeautifulSoup(response.text, ‘html.parser’)
song_list = soup.find_all(‘li’, class_=’songlist__item’)

data = []
for song in song_list:
song_name = song.find(‘a’, class_=’js_song’)[‘title’]
singer_name = song.find(‘a’, class_=’singer_name’).text
album_name = song.find(‘a’, class_=’album_name’)[‘title’]
data.append([song_name, singer_name, album_name])
df = pd.DataFrame(data, columns=[‘歌曲名’, ‘歌手名’, ‘专辑名df.to_csv(f'{singer_name}_songs.csv’, index=False, encoding=’utf-8-sig’)
“`

在此示例中，我们指定歌手名为”周杰伦”，并使用f字符串构建URL。然后，我们使用requests库发送GET请求，获取指定歌手的歌曲页面的HTML代码。接下来，我们使用BeautifulSoup库解析HTML页面，提取歌曲列表。然后，我们使用pandas库处理数据，将数据输出到CSV文件中。

总结

使用Python抓取QQ音乐数据的步骤包括导入所需库、发送HTTP请求、解析HTML页面、处理数据和输出数据。本攻略中，我们提供了两个示例，分别是获取热门歌曲和获取指定歌手的歌曲。

Tags: