訓練データとテストデータの使い方 | 機械学習の基本概念 | Pythonによる機械学習を学ぶ

現在作成中です。今後加筆修正してまいります。
スポンサーリンク
スポンサーリンク

訓練データとテストデータの使い方

この記事では、機械学習における「訓練データ」と「テストデータ」の使い方について解説します。これらのデータは、モデルの性能を適切に評価し、過学習を防ぐために非常に重要です。対象者はPythonの基本的なプログラミング知識を持っていることを前提としていますが、機械学習の初心者でも理解しやすいように解説していきます。

訓練データとテストデータとは？

機械学習におけるモデル作成プロセスでは、データセットを訓練データとテストデータに分割します。それぞれの役割は次の通りです。

  • 訓練データ（Training Data）: モデルが学習するためのデータです。このデータを基にして、モデルは特徴量とターゲット（ラベルや値）との関係性を学習し、パラメータを調整します。
  • テストデータ（Test Data）: 訓練されたモデルが、未知のデータに対してどれだけうまく予測できるかを評価するために使用します。テストデータはモデルが学習していないデータであるため、実際のデータに対するモデルの性能を測ることができます。

なぜデータを分割する必要があるのか？

データセットを訓練データとテストデータに分割する理由は、モデルが新しいデータに対してうまく一般化できるかどうかを評価するためです。もし全てのデータを訓練に使ってしまうと、モデルが訓練データに過度に適合してしまい、訓練データでは高い精度を示すものの、未知のデータ（つまり実際の環境）では正しく動作しない「過学習（オーバーフィッティング）」が発生する可能性があります。

データ分割の標準的な割合

一般的に、データセットは以下のような割合で分割されます。

  • 訓練データ: 70%〜80%
  • テストデータ: 20%〜30%

さらに、モデルの評価をより正確に行うために、検証データ（Validation Data）を用いることもあります。これは訓練中のモデルの調整に使用され、最終評価には使われません。

Pythonでの訓練データとテストデータの分割

Pythonのscikit-learnライブラリを使えば、簡単にデータを訓練データとテストデータに分割することができます。以下にその例を示します。


import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

# 仮想データセットの作成
data = pd.DataFrame({
    'feature1': [1, 2, 3, 4, 5],
    'feature2': [10, 20, 30, 40, 50],
    'target': [100, 200, 300, 400, 500]
})

# 特徴量（X）とターゲット（y）に分割
X = data[['feature1', 'feature2']]
y = data['target']

# 訓練データとテストデータに分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 線形回帰モデルの作成
model = LinearRegression()

# モデルの訓練
model.fit(X_train, y_train)

# テストデータで予測
y_pred = model.predict(X_test)

# モデルの評価（平均二乗誤差の計算）
mse = mean_squared_error(y_test, y_pred)
print(f'Mean Squared Error: {mse}')

このコードでは、仮のデータセットを使ってtrain_test_split関数を利用し、データを訓練データとテストデータに分割しています。訓練データでモデルを訓練し、テストデータでモデルの予測精度を評価します。最後に、mean_squared_error関数を使って、予測結果と実際のターゲット値との誤差を評価しています。

訓練データとテストデータの適切な使い方

モデルの精度を向上させ、過学習を防ぐためには、データの分割と評価方法を慎重に考える必要があります。以下のポイントを押さえることで、より信頼性の高いモデルを構築できます。

1. 適切な分割の割合を設定する

データセットが大きい場合、訓練データを十分に確保しながらも、テストデータを適切な割合で分割することが重要です。一般的な割合としては、80%訓練データ、20%テストデータが多く使われます。ただし、データセットのサイズや問題の複雑さに応じて、この割合は調整可能です。

2. クロスバリデーションを活用する

クロスバリデーション（Cross Validation）は、データを複数の「折り（fold）」に分割し、各折りをテストデータとして使い、残りの折りを訓練データに使う方法です。これにより、データの偏りを減らし、モデルの一般化能力をより正確に評価できます。


from sklearn.model_selection import cross_val_score

# クロスバリデーションで線形回帰モデルを評価
cv_scores = cross_val_score(model, X, y, cv=5, scoring='neg_mean_squared_error')
print(f'Cross-Validation MSE Scores: {cv_scores}')

この例では、cross_val_scoreを使ってクロスバリデーションを実行しています。データを5つの折りに分けて、モデルを評価しています。

3. データのシャッフルとシードの設定

データの分割時には、データの順序に依存したバイアスが入らないように、データをシャッフルすることが推奨されます。また、結果の再現性を確保するためには、乱数シード（random_state）を設定することが重要です。これにより、実行するたびに同じ分割が再現されます。

4. 過学習の回避

訓練データを使いすぎると、モデルが訓練データに過度に適応し、テストデータに対してはうまく機能しない「過学習」が発生することがあります。これを防ぐためには、適切な正則化（L1, L2正則化など）や、複数のモデルを組み合わせたアンサンブル学習が役立ちます。

まとめ

機械学習モデルの性能を正確に評価するためには、データセットを訓練データとテストデータに適切に分割し、テストデータで評価を行うことが重要です。過学習を防ぎ、モデルの一般化能力を高めるために、クロスバリデーションやデータのシャッフルといった手法を活用しましょう。Pythonのscikit-learnを使ってこれらのプロセスを簡単に実行できるので、ぜひ試してみてください。

スポンサーリンク