博客

Python入门之使用pandas分析excel数据

  • Post category:Python

首先我会使用标准的Markdown格式为您讲解“Python入门之使用pandas分析excel数据”的完整实例教程。本文章将包括以下内容：

  1. 简介
  2. 环境准备
  3. 导入模块
  4. 读取数据
  5. 数据清洗
  6. 数据分析
  7. 数据可视化
  8. 结论
  9. 示例说明

1. 简介

本文将借助Python的数据分析库pandas，对一个Excel数据进行数据清洗、计算和分析，并通过数据可视化的方式呈现出得到的分析结果。

2. 环境准备

在开始之前，您需要准备好Python环境，可以使用Anaconda或者直接安装Python，同时也需要安装以下必要的库：

  • pandas
  • matplotlib

你可以使用以下命令安装它们：

pip install pandas

pip install matplotlib

3. 导入模块

导入所需的Python模块：

import pandas as pd
import matplotlib.pyplot as plt

4. 读取数据

我们首先需要读取Excel数据，然后将其转化为pandas的DataFrame数据类型。假设我们的数据文件名为”data.xlsx”，数据存放在Excel文件的Sheet1测试用例中，读取方式如下：

data = pd.read_excel('data.xlsx', sheet_name='Sheet1')

此时，我们得到了一个DataFrame，将其命名为”df”：

df = pd.DataFrame(data)

5. 数据清洗

接下来，我们需要进行数据的清洗，包括处理缺失值、重复数据，以及进行数据筛选。

处理缺失值

查看数据中是否存在缺失值：

df.isnull().any()

使用pandas的fillna()方法将缺失值填充为指定的值，例如 0： 

df.fillna(0, inplace=True)

处理重复值

使用pandas的drop()方法删除重复的行，并更新DataFrame：

df.drop_duplicates(inplace=True)

数据筛选

我们使用pandas的loc()方法针对数据进行筛选，例如筛选出“总数”这一列的数据：

total = df.loc[:, '总数']

6. 数据分析

在经过数据清洗之后，现在我们就可以开始进行数据计算和分析。

计算总和、平均值和标准差

我们可以使用pandas自带的函数进行简单的计算，例如计算总和、平均值和标准差：

Total = df['Total'].sum()
Average = df['Average'].mean()
Std_dev = df['Std_dev'].std()

统计数据

我们可以使用pandas的groupby()函数对数据进行分组统计，例如对“总数”这列数据进行统计：

total_group = df.groupby('total').count()

查询数据

pandas的query()方法可以让我们对数据进行复杂的查询，例如查询”总数”大于或等于100的数据：

result = df.query('total >= 100')

7. 数据可视化

通过可视化数据，我们可以更好地理解数据和模式。

绘制柱状图

我们可以使用matplotlib库绘制柱状图:

objects = df['Object']
performance = df['Performance']

plt.bar(objects, performance, align='center', alpha=0.5)
plt.xticks(objects, objects)
plt.ylabel('Performance')
plt.title('Performance of Objects in Data')

plt.show()

绘制饼图

我们可以使用matplotlib库绘制饼图：

percentages = df['Percent']

plt.pie(percentages, labels=objects, autopct='%1.1f%%')
plt.axis('equal') 

plt.show()

8. 结论

通过数据清洗、计算和可视化，我们可以更好地理解数据，发现模式和规律。

9. 示例说明

下面是两个对Excel数据进行简单分析的例子：

示例一：计算数据总和

假设我们有一个Excel数据，其中包含三列，分别为 A, B, C。我们可以使用以下代码对数据进行计算和可视化：

import pandas as pd
import matplotlib.pyplot as plt

data = pd.read_excel('data.xlsx', sheet_name='Sheet1')
df = pd.DataFrame(data)

total = df['A'] + df['B'] + df['C']

objects = df['Object']

plt.bar(objects, total, align='center', alpha=0.5)
plt.xticks(objects, objects)
plt.ylabel('Total')
plt.title('Total of Objects in Data')

plt.show()

示例二：查询数据

现在假设我们有一个Excel数据，其中包含四列数据，分别为：Object、Total、Average和Std_dev。我们可以使用以下代码对数据进行查询和绘图：

import pandas as pd
import matplotlib.pyplot as plt

data = pd.read_excel('data.xlsx', sheet_name='Sheet1')
df = pd.DataFrame(data)

result = df.query('total >= 100')

objects = result['Object']
performance = result['Performance']

plt.bar(objects, performance, align='center', alpha=0.5)
plt.xticks(objects, objects)
plt.ylabel('Performance')
plt.title('Performance of Objects in Data')

plt.show()

这里我们使用了pandas的query()方法，仅选择总数大于或等于100的行进行分析。结果可以使用matplotlib库绘制成柱状图。

Tags: ,