博客

Python K最近邻从原理到实现的方法

  • Post category:Python

Python K最近邻算法攻略

本攻略将介绍Python K最近邻算法的原理和实现方法。K最近邻算法是一种常用的机器学习算法，用于分类和回归问题。本攻略中，我们将介绍K最近邻算法的原理和Python实现方法，并提供两个示例来演示如何使用该算法。

K最近邻算法的原理

K最近邻算法一种基于实例的学习算法，它通过计算样本之间的距离来进行分类或回归。K最近邻算法的要步骤包括：

  1. 计算距离：计算测试样本与训练样本之间的距离。
  2. 选择K个最近邻：选择K个距离最近的训练样本。
  3. 进行分类或回归：对于分类问题，选择K个最近邻中出现最多的类别作为测试样本的类别；对于回归问题，选择K个最近邻的平均值作为测试样本的预测值。

Python实现K最近邻算法

以下是使用Python实现K最近邻算法的示例代码：

import numpy as np
from collections import Counter

class KNN:
    def __init__(self, k=3):
        self.k = k

    def fit(self, X, y):
        self.X_train = X
        self.y_train = y

    def predict(self, X):
        y_pred = []
        for x in X:
            distances = [np.sqrt(np.sum((x - x_train) ** 2)) for x_train in self.X_train]
            k_indices = np.argsort(distances)[:self.k]
            k_nearest_labels = [self.y_train[i] for i in k_indices]
            most_common = Counter(k_nearest_labels).most_common(1)
            y_pred.append(most_common[0][0])
        return y_pred

在这个示例中，我们首先定义了一个KNN类，它包含了K最近邻算法的初始化、拟合和预测方法。我们使用numpy库计算距离，并使用Counter库计算最近邻中出现最多的类别。然后我们使用fit方法拟合模型，并使用predict方法预测测试样本的类别。

示例说明

本攻略中，介绍了K最近邻算法的原理和Python实现方法。我们使用示例演示了如何使用Python实现K最近邻算法，并提供了一个分类问题和一个回归问题的例子来演示如何使用该算法。这些示例代码可以帮助读者更好地理解K最近邻算法的方法和应用场景。

以下是分类问题的示例，演示如何使用K最近邻算法对鸢尾花数据集进行分类：

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from knn import KNN

iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=42)

knn = KNN(k=3)
knn.fit(X_train, y_train)
y_pred = knn.predict(X_test)

accuracy = accuracy_score(y_test, y_pred)
print('Accuracy:', accuracy)

在这个示例中，我们首先使用sklearn库加载鸢尾花数据集，并使用train_test_split函数将数据集分成训练集和测试集。然后我们使用KNN类拟合模型，并使用方法预测测试集的类别。最后，我们使用accuracy_score函数计算模型的准确率。

以下是回归问题的示例，演示如何使用K最近邻算法对波士顿房价数据集进行回归：

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from knn import KNN

boston = load_boston()
X_train, X_test, y_train, y_test = train_test_split(boston.data, boston.target, test_size=0.2, random_state=42)

knn = KNN(k=3)
knn.fit(X_train, y_train)
y_pred = knn.predict(X_test)

mse = mean_squared_error(y_test, y_pred)
print('MSE:', mse)

在这个示例中，我们首先使用sklearn库加载波士顿房价数据集，并使用train_test_split函数将数据集分成训练集和测试集。然后我们使用KNN类拟合模型，并使用predict方法预测测试集的房价。最后，我们使用mean_squared_error函数计算模型的均方误差。

这两个示例演示了K最近邻算法在分类和回归领域的应用。

Tags: ,