博客

Python group-by归约

  • Post category:Python

下面是Python group-by归约使用方法的详细讲解攻略。

一、group-by归约的概念

Python group-by归约是指按照一个或多个指定的键值对列表将数据分组，然后对每个分组进行聚合操作的方法。它能将数据集分成多个不同的组，然后可以对每个组进行汇总、统计等操作，也可以对多个字段同时进行聚合操作。

二、group-by归约的使用方法

Python中通过itertools.groupby()函数实现group-by归约的操作，它返回一个迭代器对象，每个元素为一个元组，包含分组键值和一个对应的生成器，其中生成器包含一组与该键值相同的元素。

下面是itertools.groupby()函数的语法格式：

itertools.groupby(iterable[, key])

参数说明：
– iterable：待分组的可迭代对象；
– key：指定用于分组的键值对列表。

示例1：对数据集进行分组聚合操作

import itertools

# 准备数据
data = [
    {'name': 'Tom', 'class': 'ClassA', 'score': 85},
    {'name': 'Jack', 'class': 'ClassA', 'score': 90},
    {'name': 'Lucy', 'class': 'ClassB', 'score': 92},
    {'name': 'Mary', 'class': 'ClassB', 'score': 88},
]

# 按照class字段进行分组
grouped_data = itertools.groupby(data, key=lambda x: x['class'])

# 定义聚合操作
def aggregate(group):
    sum_score = 0
    count = 0
    for item in group:
        sum_score += item['score']
        count += 1
    return {'avg_score': sum_score / count, 'count': count}

# 对分组后的数据进行聚合操作
result = {key: aggregate(group) for key, group in grouped_data}

# 输出聚合结果
print(result)

运行结果：

{'ClassA': {'avg_score': 87.5, 'count': 2}, 'ClassB': {'avg_score': 90.0, 'count': 2}}

示例2：对多个字段进行分组聚合操作

import itertools

# 准备数据
data = [
    {'name': 'Tom', 'class': 'ClassA', 'subject': 'Math', 'score': 85},
    {'name': 'Jack', 'class': 'ClassA', 'subject': 'Math', 'score': 90},
    {'name': 'Lucy', 'class': 'ClassB', 'subject': 'Math', 'score': 92},
    {'name': 'Mary', 'class': 'ClassB', 'subject': 'Math', 'score': 88},
    {'name': 'Tom', 'class': 'ClassA', 'subject': 'English', 'score': 78},
    {'name': 'Jack', 'class': 'ClassA', 'subject': 'English', 'score': 82},
    {'name': 'Lucy', 'class': 'ClassB', 'subject': 'English', 'score': 90},
    {'name': 'Mary', 'class': 'ClassB', 'subject': 'English', 'score': 85},
]

# 按照class和subject字段进行分组
grouped_data = itertools.groupby(data, key=lambda x: (x['class'], x['subject']))

# 定义聚合操作
def aggregate(group):
    sum_score = 0
    count = 0
    for item in group:
        sum_score += item['score']
        count += 1
    return {'avg_score': sum_score / count, 'count': count}

# 对分组后的数据进行聚合操作
result = {key: aggregate(group) for key, group in grouped_data}

# 输出聚合结果
print(result)

运行结果：

{('ClassA', 'Math'): {'avg_score': 87.5, 'count': 2}, ('ClassB', 'Math'): {'avg_score': 90.0, 'count': 2}, ('ClassA', 'English'): {'avg_score': 80.0, 'count': 2}, ('ClassB', 'English'): {'avg_score': 87.5, 'count': 2}}

三、总结

Python group-by归约是一种非常实用的数据聚合方法，可以将数据集按照一个或多个指定的键值对列表分组，然后对每个分组进行聚合操作。在实际的数据处理过程中，它能极大地简化数据聚合操作的流程，提高操作效率。

Tags: