博客

pandas去除重复值的实战

  • Post category:Python

Pandas是Python中非常常用的数据分析库之一，使用pandas可以方便地进行数据清洗和数据分析。在数据分析中，往往会遇到数据中存在重复值的情况，如何去除这些重复值是必须掌握的技能之一。本文将详细讲解如何使用pandas进行去重操作。

1. 读取数据

首先，我们需要读取数据。这里以读取一个csv文件为例。

import pandas as pd

df = pd.read_csv('data.csv')

2. 去除重复值

接下来，我们使用drop_duplicates()方法进行去重操作。该方法默认会对所有列进行去重。

df.drop_duplicates()

3. 指定列进行去重

如果我们只想对某些列进行去重，可以使用subset参数。

例如，我们只想根据名字列去除重复值：

df.drop_duplicates(subset=['name'])

4. 保留最后一条记录

默认情况下，drop_duplicates()方法会保留第一条记录，如果我们想保留最后一条记录，可以使用keep参数：

df.drop_duplicates(subset=['name'], keep='last')

示例1

现在我们看一个具体的示例。假设我们有一个销售数据表，其中存在一些重复的记录，我们需要去重。数据如下：

id,name,date,amount
1,Tom,2021-01-01,100
2,Jerry,2021-01-02,200
3,Tom,2021-01-03,300
4,Bob,2021-01-04,400
5,Tom,2021-01-05,500

首先，我们读取数据：

import pandas as pd

df = pd.read_csv('sales.csv')

然后，我们可以使用drop_duplicates()方法对所有列进行去重：

df.drop_duplicates()

去重结果：

id,name,date,amount
1,Tom,2021-01-01,100
2,Jerry,2021-01-02,200
3,Tom,2021-01-03,300
4,Bob,2021-01-04,400
5,Tom,2021-01-05,500

可以看到，没有重复的记录了。

示例2

现在假设我们只想根据name列进行去重，保留第一条记录。具体步骤如下：

import pandas as pd

df = pd.read_csv('sales.csv')

df.drop_duplicates(subset=['name'])

去重结果：

id,name,date,amount
1,Tom,2021-01-01,100
2,Jerry,2021-01-02,200
4,Bob,2021-01-04,400

可以看到，Tom这个名字出现了三次，但是只保留了第一条记录。其他两个名字（Jerry和Bob）没有被去重，因为它们不是重复的。

总之，以上就是pandas去除重复值的一些实战攻略，希望对大家有所帮助。

Tags: