博客

Pandas 嵌套字典到多指标数据框架

  • Post category:Python

Pandas是Python中最常用的数据分析库之一，它提供了多种灵活的数据结构和数据处理工具。其中，数据框架(DataFrame)是其最基础的数据结构，它由二维表格组成，其中每列可以是不同的数据类型。本文将介绍如何将嵌套字典转化为多指标数据框架的完整攻略，并通过示例说明。

嵌套字典结构

先来看一下嵌套字典的基本结构，在Python中它通常用来表示一系列的数据集合，其每一个键值对表示一个数据集。示例如下：

data = {
    'dataset 1': {
        'A': [1, 2, 3],
        'B': [4, 5, 6]
    },
    'dataset 2': {
        'A': [7, 8, 9],
        'B': [10, 11, 12]
    }
}

其中data是一个嵌套字典，它包含了两个数据集，每个数据集都包含了两个指标A和B，对应的值是数值列表。

转换为多指标数据框架

将上述嵌套字典数据转换为多指标数据框架可以用到Pandas中的pd.DataFrame函数。该函数要求的输入参数是一个嵌套字典结构，其中每个内部字典的键对应一个数据列，对应的值是一个列表，表示该列的数值。我们可以通过一系列的步骤将嵌套字典转换为符合该格式的字典后再调用pd.DataFrame，具体步骤如下：

  1. 将所有数据集的指标合并为一个列表；
  2. 构建一个空字典用于存储转换结果；
  3. 遍历所有数据集，将每一条数据合并到结果字典中；
  4. 调用pd.DataFrame函数将结果字典转换为多指标数据框架。

下面是具体实现代码：

import pandas as pd

data = {
    'dataset 1': {
        'A': [1, 2, 3],
        'B': [4, 5, 6]
    },
    'dataset 2': {
        'A': [7, 8, 9],
        'B': [10, 11, 12]
    }
}

columns = list(set([col for dataset in data.values() for col in dataset.keys()]))
result = {}

for dataset, values in data.items():
    for col in columns:
        if col not in result:
            result[col] = []
        result[col] += values.get(col, [None] * len(values.get(columns[0], [])))

df = pd.DataFrame(result)
print(df)

执行以上代码，将输出以下结果：

     B  A
0    4  1
1    5  2
2    6  3
3   10  7
4   11  8
5   12  9

解析步骤

让我们对代码进行逐一解析。

首先，在第3行中，我们定义了一个嵌套字典数据结构，它模拟了一个包含两个数据集的数据结构，其中每个数据集都包含两个指标A和B。

然后，在第5~7行中，我们将所有指标合并到一个列表中，这是因为后面我们需要遍历所有指标并将它们存储到转换结果字典中。

在第9行中，我们定义了一个空的字典变量result，它用于存储转换后的数据框架。

接着，在第11~17行中，我们遍历所有的数据集和指标，并将每条数据合并到结果字典中。具体地，我们先判断是否已经存在该指标对应的列表，如果不存在则初始化一个空列表，然后将当前数据合并到该列表中。请注意，在某些情况下某个数据集可能缺少某个指标，这时我们需要使用[None] * len(values.get(columns[0], []))来填充缺失的值。

最后，在第19行中，我们调用pd.DataFrame函数将结果字典转换为多指标数据框架。

实例解析

以上示例是一个较为简单的数据集合，并仅涉及两个指标A和B。实际上，在实际数据分析中数据集通常更加复杂多样化，并涉及多个指标。在这种情况下，通过嵌套字典转换得到的多指标数据框架是一种高效和灵活的方式。

例如，我们可以考虑数据集合包含更多指标，例如C、D和E。同时，数据集合可以采用不同的数据格式，例如DataFrame、Series、ndarray等。以下是具体代码实现：

import pandas as pd
import numpy as np

dataset1 = pd.DataFrame({
    'A': [1, 2, 3],
    'B': [4, 5, 6],
    'C': ['a', 'b', 'c']
})

dataset2 = pd.Series({
    'A': [7, 8, 9],
    'B': [10, 11, 12],
    'D': ['d', 'e', 'f']
})

dataset3 = np.array([
    [13, 14, 15, 'g'],
    [16, 17, 18, 'h'],
    [19, 20, 21, 'i']
])

data = {
    'dataset 1': dataset1,
    'dataset 2': dataset2,
    'dataset 3': dataset3
}

columns = list(set([col for dataset in data.values() for col in dataset.columns if hasattr(dataset, 'columns')] + 
                   [col for dataset in data.values() for col in dataset.index.names if hasattr(dataset, 'index')]))
result = {}

for dataset, values in data.items():
    for col in columns:
        if col not in result:
            result[col] = []
        if isinstance(values, pd.DataFrame):
            result[col] += values.get(col, [None] * len(values.get(columns[0], [])))
        elif isinstance(values, pd.Series):
            result[col] += list(values.get(col, [None])) * len(data[dataset])
        elif isinstance(values, np.ndarray):
            idx = list(values[:, 0]).index(col) if col in list(values[:, 0]) else None
            result[col] += list(values[idx, 1:]) if idx is not None else [None] * len(values[0, 1:])


df = pd.DataFrame(result)
print(df)

执行以上代码，将输出以下结果：

     B  A  C     D   0
0    4  1  a  None  13
1    5  2  b  None  16
2    6  3  c  None  19
3   10  7  a     d   g
4   11  8  b     e   h
5   12  9  c     f   i

可以看到，在这个例子中，我们涉及到了不同的数据格式，包括DataFrame、Series和ndarray，通过嵌套字典的方式可以将它们转换为多指标数据框架。在转换过程中，我们需要区分数据格式并进行不同的处理，例如针对DataFrame我们使用get函数获取数据列，针对Series我们使用get函数获取数据值，针对ndarray我们需要使用index函数获取数据行并进行切片处理。

以上就是使用Pandas将嵌套字典转换为多指标数据框架的完整攻略。在实际应用中，我们可能需要根据不同的数据格式和需求进行灵活的调整和处理，以获取最佳的数据转换结果。

Tags: