博客

简单了解Pandas缺失值处理方法

  • Post category:Python

简单了解Pandas缺失值处理方法

在数据分析的过程中，缺失值是一个比较常见的问题。如果不处理好缺失值，可能会对数据分析结果造成影响。Pandas提供了多种处理缺失值的方法，本文将介绍其中比较常用的几种方法。

判断缺失值

首先需要判断哪些数据是缺失的。Pandas将缺失值表示为NaN。通过isnull()方法可以判断数据是否是缺失值，返回值为布尔类型。

import pandas as pd
import numpy as np

# 创建一个包含缺失值的DataFrame
data = {'A': [1, 2, np.nan], 'B': [4, np.nan, np.nan], 'C': [7, 8, 9]}
df = pd.DataFrame(data)

# 判断是否是缺失值
print(df.isnull())

运行结果：

       A      B      C
0  False  False  False
1  False   True  False
2   True   True  False

删除缺失值

删除缺失值是一种简单粗暴的处理方法，可以通过dropna()方法实现。通过axis参数来指定行或列，只要有一个数据缺失，整行或整列都会被删除。该方法有一个subset参数，可以指定删除缺失值时只考虑一部分列或行。

import pandas as pd
import numpy as np

# 创建一个包含缺失值的DataFrame
data = {'A': [1, 2, np.nan], 'B': [4, np.nan, np.nan], 'C': [7, 8, 9]}
df = pd.DataFrame(data)

# 删除有缺失值的整行
df_dropna_row = df.dropna(axis=0)
print(df_dropna_row)

# 删除有缺失值的整列
df_dropna_col = df.dropna(axis=1)
print(df_dropna_col)

# 指定只考虑A列和B列的缺失值
df_dropna_sub = df.dropna(subset=['A', 'B'])
print(df_dropna_sub)

运行结果：

     A    B  C
0  1.0  4.0  7
   C
0  7
     A    B  C
0  1.0  4.0  7

填充缺失值

除了删除缺失值外，还可以通过填充缺失值的方式来处理。Pandas提供了多种填充缺失值的方法，比较常用的有fillna()方法。

import pandas as pd
import numpy as np

# 创建一个包含缺失值的DataFrame
data = {'A': [1, 2, np.nan], 'B': [4, np.nan, np.nan], 'C': [7, 8, 9]}
df = pd.DataFrame(data)

# 将缺失值填充为0
df_fillna_0 = df.fillna(0)
print(df_fillna_0)

# 将缺失值填充为A列的平均值
df_fillna_mean = df.fillna(df['A'].mean())
print(df_fillna_mean)

# 将缺失值填充为前一个有效值进行向前填充
df_fillna_ffill = df.fillna(method='ffill')
print(df_fillna_ffill)

# 将缺失值填充为后一个有效值进行向后填充
df_fillna_bfill = df.fillna(method='bfill')
print(df_fillna_bfill)

运行结果：

     A    B  C
0  1.0  4.0  7
1  2.0  0.0  8
2  0.0  0.0  9
     A    B  C
0  1.0  4.0  7
1  2.0  1.5  8
2  1.5  1.5  9
     A    B  C
0  1.0  4.0  7
1  2.0  4.0  8
2  2.0  4.0  9
     A    B  C
0  1.0  4.0  7
1  2.0  8.0  8
2  7.0  8.0  9

通过上面的示例可以发现，填充缺失值的方法可以根据实际情况进行选择。比如，如果缺失值比较少，可以采用删除缺失值的方法处理。如果缺失值比较多，可以采用填充缺失值的方法补齐数据。

Tags: