k近傍法の応用 | 分類アルゴリズム | Pythonによる機械学習を学ぶ

現在作成中です。今後加筆修正してまいります。
スポンサーリンク
スポンサーリンク

k近傍法（KNN）の応用

k近傍法（K-Nearest Neighbors、KNN）は、分類や回帰タスクにおいて非常にシンプルで強力な機械学習アルゴリズムです。KNNは、訓練データ内の「k個の最も近いサンプル」に基づいて、新しいデータポイントを予測します。このアルゴリズムは、特にラベル付けされたデータセットが豊富に存在し、その関係が距離によって明確である場合に有効です。

KNNの特徴と仕組み

KNNは次のような特徴を持つ非パラメトリックなアルゴリズムです：

  • メモリベースのアルゴリズム：モデルは訓練データを使用して学習を行うことはなく、新しいデータを分類する際に実際のデータを参照します。
  • 距離ベースの分類：KNNは、ユークリッド距離やマンハッタン距離などの距離を計算して、新しいデータポイントと訓練データの近似性を評価します。
  • kの選定が重要：kの値が小さすぎると過学習しやすく、大きすぎると逆にアンダーフィッティングが起こります。最適なk値を選ぶことが重要です。

KNNの予測は、以下のプロセスを通じて行われます：

  1. データポイント間の距離を計算する。
  2. 最も近いk個のデータポイントを選定する。
  3. k個のデータポイントのクラスラベルを基に、新しいデータポイントのクラスを決定する（分類の場合）。

kの値の影響と選定

kの値はKNNアルゴリズムにおける重要なハイパーパラメータです。以下に、kの値によってどのような影響が出るかを説明します：

kの値 影響
小さい値（例：k=1） モデルが訓練データに非常に敏感になり、過学習のリスクが高まる。ノイズに影響されやすい。
大きい値（例：k=20） モデルがより多くの近隣データポイントを参照するため、アンダーフィッティングの可能性が高くなる。

kの値を適切に設定するためには、グリッドサーチや交差検証（Cross-Validation）を使用して最適なkを見つけることが推奨されます。

KNNの実装と応用例

それでは、Pythonを用いてKNNを実装し、その応用例について見ていきます。

ライブラリのインストール

まず、KNNの実装にはscikit-learnライブラリを使用します。以下のコマンドでインストールします。

!pip install scikit-learn

Irisデータセットのロードと前処理

from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris

# Irisデータセットをロード
data = load_iris()
X = data.data
y = data.target

# 訓練データとテストデータに分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

このコードでは、Irisデータセットを使用します。データセットには花の種類と、それぞれの花の特徴（フィーチャー）が含まれています。次に、訓練データとテストデータに分割し、モデルを学習させます。

KNNモデルの学習

from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score

# KNNモデルを作成
knn = KNeighborsClassifier(n_neighbors=3)

# モデルを学習
knn.fit(X_train, y_train)

# テストデータでの予測
y_pred = knn.predict(X_test)

# モデルの精度を計算
accuracy = accuracy_score(y_test, y_pred)
print(f"KNNの精度: {accuracy:.3f}")

上記のコードで、KNeighborsClassifierを使用してKNNモデルを作成し、3つの近傍点を基に分類を行います。テストデータで予測を行い、その結果から精度を計算します。

交差検証とグリッドサーチを用いた最適なkの選定

KNNのハイパーパラメータであるkの値を最適化するために、グリッドサーチを用いることが推奨されます。以下はその実装例です：

from sklearn.model_selection import GridSearchCV

# ハイパーパラメータ範囲を定義
param_grid = {'n_neighbors': range(1, 20)}

# グリッドサーチを適用
grid_search = GridSearchCV(KNeighborsClassifier(), param_grid, cv=5)
grid_search.fit(X_train, y_train)

# 最適なkを表示
best_k = grid_search.best_params_['n_neighbors']
print(f"最適なkの値: {best_k}")

このコードは、1から19までの範囲でkの値を試し、交差検証によって最も良いパフォーマンスを発揮するkの値を見つけるために使用されます。

KNNの評価

モデルのパフォーマンスを評価するために、精度以外にも混同行列やROC曲線などの評価方法があります。

混同行列による評価

from sklearn.metrics import confusion_matrix
import seaborn as sns
import matplotlib.pyplot as plt

# 混同行列を作成
cm = confusion_matrix(y_test, y_pred)

# ヒートマップとして可視化
sns.heatmap(cm, annot=True, fmt="d")
plt.xlabel('予測ラベル')
plt.ylabel('実測ラベル')
plt.show()

混同行列を使って、モデルが正しく分類できたか、または誤分類したかを視覚的に確認できます。

KNNの応用例

KNNは、以下のような実際のアプリケーションでよく使用されます：

  • 画像認識：画像のピクセルの類似性に基づいて、分類を行う。
  • レコメンデーションシステム：ユーザーの過去の行動に基づいて類似したコンテンツを推薦する。
  • 医療診断：患者のデータに基づいて病気のリスクを予測する。

まとめ

KNNは、シンプルでありながら効果的な分類・回帰アルゴリズムです。距離ベースの手法を用いて、新しいデータポイントを既存のデータポイントと比較し、予測を行います。kの選定が精度に大きく影響するため、適切なハイパーパラメータのチューニングが不可欠です。また、KNNは大規模なデータセットや高次元データには不向きな場合があるため、その点も考慮する必要があります。

スポンサーリンク