数据概括的基本方法(DWDM)

  • Post category:Python

DWDM(Data Wrangling and Data Mining)是对数据进行处理和挖掘的方法,其中数据概括是DWDM过程的重要步骤。数据概括是指将大量数据转化为少量信息的过程,可以通过以下基本方法进行实现:

1. 最大值和最小值

根据数据集的分布,我们可以找到最大值和最小值。在许多情况下,数据的分布通常是一个标准的正态分布曲线,在该曲线上大多数值都恰好位于平均值附近。在这种情况下,最大值和最小值对应于曲线的两端。

例如,在一个学生的考试成绩数据集中,最高分和最低分可以帮助我们评估数据的分散程度。

Max Score: 100 
Min Score: 20

2. 平均数

平均数是将数据集中所有数值加起来,然后除以数据集中的数量所得的结果。平均数是对数据集整体的度量,它是用来观察数据分布的有用指标。在一个标准正态分布中,平均值通常位于曲线的中心位置。

举个例子,在一个小班的成绩数据集中,我们可以使用平均数作为评估学生总体表现的依据。

Average Score: 85

3. 中位数

中位数是将数据集中的数值按从小到大排列,然后找到中间的数。如果数据集中有偶数个数值,则中位数是两个中间数的平均值。

在一组有序的数据中,中位数可以提供一个反映数据分布的中间值。它对比平均数更加稳健,因为它不受极端值的干扰。

例如,在一个学生的考试成绩数据集中,中位数可以帮助我们评估数据的分散程度。

Median Score: 85

4. 分位数

分位数将整个数据集分为数个等份,从而更好地理解数据的分布和特点。信息学和统计学通常应用四个分位数,即Q1、Q2、Q3和Q4。

  • Q1:在整个数据集中,25%的数据都逊于Q1;

  • Q2:在整个数据集中,50%的数据都逊于Q2;

  • Q3:在整个数据集中,75%的数据都逊于Q3;

  • Q4:在整个数据集中,100%的数据都逊于Q4。

分位数可以评估数据分布的不同特征。例如,我们可以在一个小班的成绩数据集中使用Q2(即中位数),来评估学生整体表现。但如果我们还需要知道哪些同学表现不错,可以使用高于Q3的成绩。

例如,在一个学生的考试成绩数据集中,四个分位数可以帮助我们进一步评估数据的分布和特点。

Q1: 67 
Q2: 85 
Q3: 94 
Q4: 100

以上就是数据概括的基本方法,不同的方法可以从不同的角度深入了解数据。通过对数据的概括,我们可以更好地理解数据的分布和特征,进而指导我们对数据的挖掘和分析。