博客

数据分析中处理缺失值和异常值是非常重要的一步，这些值会影响到整个数据分析的结果。在处理缺失值和异常值时，需要经过以下步骤：

处理缺失值

1. 确认缺失值

在开始处理缺失值之前，需要先确认哪些数据是缺失的。可以使用pandas中的isnull函数或者notnull函数来判断数据是否存在缺失。

import pandas as pd

# 读取数据
df = pd.read_csv('data.csv')

# 判断是否存在缺失
print(df.isnull())

# 判断是否不存在缺失
print(df.notnull())

2. 填充缺失值

在确认缺失值之后，需要对缺失值进行处理。可以使用fillna函数填充缺失值，常用的方法包括使用平均值、中位数、众数等对缺失值进行补全，或者直接删除缺失数据。

# 使用平均值填充缺失值
df.fillna(value=df.mean(), inplace=True)

# 使用中位数填充缺失值
df.fillna(value=df.median(), inplace=True)

# 使用众数填充缺失值
df.fillna(value=df.mode().iloc[0], inplace=True)

# 直接删除缺失数据
df.dropna(inplace=True)

处理异常值

1. 确认异常值

在处理异常值之前，需要确认哪些数据是异常值。可以使用箱线图或者直方图来观察数据的分布情况，从而确认哪些数据是异常值。

import matplotlib.pyplot as plt

# 绘制箱线图
df.plot(kind='box')

# 绘制直方图
df.plot(kind='hist')

2. 处理异常值

在确认异常值之后，需要对异常值进行处理。常用的方法包括通过对异常值进行修剪、平滑、转换等方式来处理异常值。

# 对异常值进行修剪
df.loc[df['col'] > upper_bound, 'col'] = upper_bound
df.loc[df['col'] < lower_bound, 'col'] = lower_bound

# 对异常值进行平滑
df['col'] = df['col'].rolling(window=3, center=True).mean()

# 对异常值进行转换
df['col'] = np.log(df['col'])

以上是处理缺失值和异常值的方法，具体的处理方法需要根据具体的数据情况来选择。