博客

Python机器学习之决策树算法

  • Post category:Python

决策树算法是一种基于树形结构的分类和回归算法，它通过对数据集进行递归划分，生成一棵决策树来实现分类和回归。在Python中，我们可以使用scikit-learn库来实现决策树算法。下面是决策树算法Python版的完整攻略。

1. 决策树算法的基本原理

决策树算法的基本原理是通过对数据集进行递归划分，生成一棵决策树来实现分类和回归。具体来说，决策树算法的基本流程如下：

  1. 选择最优特征：根据某种评估指标选择最优的特征作为当前节点的划分特征。
  2. 划分数据集：根据当前节点的划分特征将数据集划分成多个子集。
  3. 递归构建决策树：对每个子集递归执行步骤1和步骤2，直到满足终止条件。
  4. 终止条件：达到预设的终止条件，如节点数、深度等。

2. 决策树算法的Python实现

以下是决策树算法的Python实现示例：

from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加载数据集
iris = load_iris()
X = iris.data
y = iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 训练模型
clf = DecisionTreeClassifier()
clf.fit(X_train, y_train)

# 预测
y_pred = clf.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print('Accuracy:', accuracy)

在这个示例中，我们使用scikit-learn库中的DecisionTreeClassifier()类来实现决策树算法。我们首先使用load_iris()函数加载鸢尾花数据集，然后使用train_test_split()函数将数据集划分成训练集和测试集。接着，我们使用DecisionTreeClassifier()类训练模型，并使用predict()函数对测试集进行预测。最后，我们使用accuracy_score()函数计算准确率。

以下是使用决策树算法对鸢尾花数据集进行分类的结果：

Accuracy: 0.9555555555555556

3. 决策树算法的应用示例

以下是使用决策树算法对泰坦尼克号数据集进行分类的Python示例：

import pandas as pd
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加载数据集
data = pd.read_csv('titanic.csv')
X = data.drop(['Survived'], axis=1)
y = data['Survived']

# 数据预处理
X = pd.get_dummies(X)
X = X.fillna(X.mean())

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 训练模型
clf = DecisionTreeClassifier()
clf.fit(X_train, y_train)

# 预测
y_pred = clf.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print('Accuracy:', accuracy)

在这个示例中，我们使用决策树算法对泰坦尼克号数据集进行分类。我们首先使用read_csv()函数加载数据集，然后使用drop()函数删除标签列，使用get_dummies()函数对类别特征进行独热编码，使用fillna()函数对缺失值进行填充。接着，我们使用train_test_split()函数将数据集划分成训练集和测试集。然后，我们使用DecisionTreeClassifier()类训练模型，并使用predict()函数对测试集进行预测。最后，我们使用accuracy_score()函数计算准确率。

以下是使用决策树算法对泰坦尼克号数据集进行分类的结果：

Accuracy: 0.7798507462686567

4. 总结

决策树算法是一种基于树形结构的分类和回归算法，它通过对数据集进行递归划分，生成一棵决策树来实现分类和回归。在Python中，我们可以使用scikit-learn库来实现决策树算法。决策树算法的应用非常广泛，可以用于分类、回归、特征选择等领域。

Tags: ,