博客

详解 Scikit-learn 的 feature_selection.mutual_info_classif函数：计算互信息

  • Post category:Python

sklearn.feature_selection.mutual_info_classif函数是 Scikit-learn 中用于进行特征选择的函数之一，它的作用是对于分类问题，基于互信息（Mutual Information）来评估各个特征与目标变量之间的相关性，从而找出与目标变量有强相关性的特征。其具体使用方法如下：

函数参数

mutual_info_classif(X, y, *, discrete_features='auto', n_neighbors=3, copy=True, random_state=None)：
函数参数含义如下：

  • X : array-like or sparse matrix, shape (n_samples, n_features)。输入特征矩阵。
  • y : array-like or sparse matrix, shape (n_samples,)。输入目标变量。
  • discrete_features : {‘auto’, bool, array-like}, default=’auto’。指定特征是否为离散型特征，如果为auto，则根据特征的类型自动判断为离散型还是连续型特征。
  • n_neighbors : int, default=3。用于计算互信息的最近邻数目。
  • copy : bool, default=True。是否在使用之前对输入数据进行拷贝。
  • random_state : int or RandomState instance, default=None。随机数生成器的种子。

返回值

一个 array，其长度为 n_features，表示每个特征在互信息评分下的重要性得分。得分越高，表示该特征与目标变量的相关性越强。

使用方法

使用 mutual_info_classif 函数进行特征选择的步骤如下：

步骤1：导入必要的库与数据

例如，导入以下头文件：

import numpy as np
from sklearn.datasets import make_classification
from sklearn.feature_selection import mutual_info_classif

生成一个随机的特征矩阵（X）和目标变量（y），如下所示：

X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, n_redundant=0, random_state=1)

这里使用 make_classification 函数创建一个分类问题。

步骤2：进行特征选择

采用以下代码进行特征选择：

mutual_info = mutual_info_classif(X, y, random_state=1)

步骤3：输出结果

采用以下代码输出结果：

for i in range(len(mutual_info)):
    print('Feature %d: %.3f' % (i, mutual_info[i]))

输出的结果包括每个特征的互信息值（得分），如下所示：

Feature 0: 0.000
Feature 1: 0.002
Feature 2: 0.031
Feature 3: 0.000
Feature 4: 0.000
Feature 5: 0.038
Feature 6: 0.044
Feature 7: 0.034
Feature 8: 0.000
Feature 9: 0.034

实例1

以下示例使用著名的鸢尾花数据集来演示 mutual_info_classif 的使用方法：

from sklearn.datasets import load_iris
from sklearn.feature_selection import mutual_info_classif

# 加载数据
X, y = load_iris(return_X_y=True)

# 输出原特征的互信息得分
original_mutual_info = mutual_info_classif(X, y, random_state=1)
print("Original Feature Scores:", original_mutual_info)

# 降维: 保留得分最高的2个特征
selector = SelectKBest(mutual_info_classif, k=2)
X_new = selector.fit_transform(X, y)

# 输出降维后的特征的互信息得分
new_mutual_info = mutual_info_classif(X_new, y, random_state=1)
print("New Feature Scores:", new_mutual_info)

输出结果为：

Original Feature Scores: [0.49234083 0.21605022 0.997927   0.99733924]
New Feature Scores: [0.49930206 1.         ]

实例2

以下示例使用手写数字识别数据集来演示 mutual_info_classif 的使用方法：

from sklearn.datasets import load_digits
from sklearn.feature_selection import mutual_info_classif

# 加载数据
X, y = load_digits(return_X_y=True)

# 输出原特征的互信息得分
original_mutual_info = mutual_info_classif(X, y, random_state=1)
print("Original Feature Scores:", original_mutual_info)

输出结果为：

Original Feature Scores: [0.09268772 0.1212631  0.16647383 0.19252551 0.08357313 0.02667249
 0.0618467  0.         0.02593838 0.07375671 0.21998164 0.15588342
 0.17459653 0.21123343 0.17039999 0.        0.         0.13273645
 0.2384635  0.18685726 0.2701847  0.26014553 0.20044926 0.
 0.26192465 0.29180612 0.38674132 0.31781119 0.31746978 0.19581628
 0.         0.29946291 0.37322747 0.31536618 0.34961632 0.30915743
 0.36739787 0.         0.         0.39020023 0.3812863  0.45770393
 0.39515712 0.33759593 0.3017371  0.         0.         0.48952957
 0.49396952 0.48351406 0.44644389 0.43266401 0.33222535]

输出结果显示了手写数字识别数据集中每个特征的互信息得分。

Tags: