Sklearn データ前処理

データ前処理は機械学習プロジェクトにおける重要なステップであり、モデルの学習効果と最終的な性能に直接影響します。

機械学習モデルを構築する際、データ前処理は極めて重要なステップです。データ前処理は、機械学習モデルに最適な入力を提供するために、生データをクリーニングおよび変換するのに役立ちます。

データ前処理には、欠損値の処理、データ変換、標準化、エンコーディングなど、複数のステップが含まれます。

適切な前処理は、モデルの精度を向上させるだけでなく、モデルの汎化にも役立ちます。


1、欠損値の処理

欠損値とは、データセット内の一部の特徴量の値が欠けている状態を指します。

機械学習アルゴリズムは通常、欠損値を直接処理できないため、欠損値への対応が必要です。

欠損値の確認

まず、データセットに欠損値があるかどうかを確認します。

通常は pandas を使用してデータセットの欠損値を確認できます:

例

import pandas as pd

# DataFrame df があると仮定します
print(df.isnull().sum())  # 各列の欠損値の数を確認する

欠損値の補完

欠損値の処理で最も一般的な方法は補完です。

一般的な補完戦略には次のものがあります:

  • 平均値の補完(Mean):数値型データに適しています。
  • 中央値の補完(Median):外れ値を含むデータセットでは、中央値を使う方が効果的な場合があります。
  • 最頻値の補完(Mode):カテゴリ型データに適しています。

scikit-learn では、SimpleImputer を使用して欠損値の補完を簡単に実装できます:

例

from sklearn.impute import SimpleImputer

# 数値型データの場合、平均値で補完する
imputer = SimpleImputer(strategy='mean')  # オプション: 'mean', 'median', 'most_frequent'
df_imputed = imputer.fit_transform(df)  # 欠損値を補完する

欠損値の削除

欠損値の数が少なく、それらを削除しても分析結果に大きな影響を与えない場合は、欠損値を直接削除するという選択肢もあります。

df_cleaned = df.dropna()  # 删除包含缺失值的行
詳細は以下を参照してください:Pandas データクリーニング

2、データのスケーリング

機械学習アルゴリズムはデータのスケールに敏感なため、特徴量が同じスケールになるようにデータをスケーリングする必要があります。

一般的なスケーリング方法には次のものがあります:

  • 標準化(Standardization):データを平均0、標準偏差1の分布に変換します。ほとんどの機械学習アルゴリズムに適しています。
  • 正規化(Normalization):データを指定した範囲(通常は [0, 1])にスケーリングします。

標準化

標準化は StandardScaler によって実装できます。各特徴量をゼロ平均と単位分散に変換します:

例

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)  # X を標準化する

正規化

正規化は、各特徴量を指定した範囲(通常は [0, 1])にスケーリングします。

MinMaxScaler は、データを正規化するために使用されます:

例

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
X_normalized = scaler.fit_transform(X)  # X を正規化する

なぜ標準化と正規化が必要なのか?

  • 標準化:距離に基づく手法(K最近傍法、サポートベクターマシンなど)にとって非常に重要です。特徴量のスケールが異なると、一部の特徴量がモデルに過度な影響を与える可能性があるからです。標準化により、各特徴量がモデルに同じ貢献をすることが保証されます。

  • 正規化:ニューラルネットワークや勾配降下最適化アルゴリズムなど一部のアルゴリズムは、入力データの範囲に非常に敏感です。正規化は収束を速めるのに役立ちます。


3、カテゴリ変数のエンコーディング

機械学習モデルは通常、文字列型のカテゴリ変数を直接処理できないため、カテゴリ変数を数値型データに変換する必要があります。

一般的なエンコーディング方法には次のものがあります:

ラベルエンコーディング

ラベルエンコーディングは、各カテゴリを一意の整数にマッピングします。

カテゴリ間に順序関係がある場合に適しています(例:低、中、高)。

例

from sklearn.preprocessing import LabelEncoder

# カテゴリ変数 y があるとします
label_encoder = LabelEncoder()
y_encoded = label_encoder.fit_transform(y)  # カテゴリ変数を整数に変換する

ワンホットエンコーディング

ワンホットエンコーディングは、各カテゴリをバイナリベクトルに変換します。カテゴリ間に順序関係がない場合に適しています(例:色、国など)。

OneHotEncoder を使用すると、カテゴリ変数をワンホットエンコーディングに変換できます。

例

from sklearn.preprocessing import OneHotEncoder

# カテゴリ変数 X があるとします
encoder = OneHotEncoder(sparse=False)  # sparse=False は密な行列を返します
X_encoded = encoder.fit_transform(X)  # カテゴリ変数をワンホットエンコーディングに変換する

pandas では、get_dummies() 関数を使用してワンホットエンコーディングを行うこともできます:

X_encoded = pd.get_dummies(X)

4、特徴選択

特徴選択は、最も重要な特徴量を選択することでモデルの性能を向上させ、計算コストを削減する手法です。

一般的な特徴選択方法には次のものがあります:

モデルベースの特徴選択

一部の機械学習モデル(例:決定木或ランダムフォレスト)などを使用して、特徴量の重要度を評価し、特徴選択を行います。

例

from sklearn.ensemble import RandomForestClassifier

# ランダムフォレストモデルをトレーニングする
clf = RandomForestClassifier()
clf.fit(X_train, y_train)

# 特徴量の重要度を取得する
importances = clf.feature_importances_
print(importances)

再帰的特徴除去(Recursive Feature Elimination, RFE)

RFE は、再帰的な方法で最も重要でない特徴量を段階的に削除し、最適な特徴量を選択する手法です。

RFE を使用すると、重要な特徴量を自動的に選択できます。

例

from sklearn.feature_selection import RFE

# 線形モデルを使用して再帰的特徴除去を行う
rfe = RFE(clf, n_features_to_select=3)  # 最も重要な3つの特徴量を保持する
X_rfe = rfe.fit_transform(X_train, y_train)

5、特徴量エンジニアリング

特徴量エンジニアリングは、既存の特徴量を処理・組み合わせたり、新しい特徴量を構築したりすることで、モデルのパフォーマンスを向上させる手法です。

特徴量エンジニアリングの一般的な方法には次のものがあります:

  • 特徴量の組み合わせ:2つ以上の特徴量を組み合わせて、新しい特徴量を作成します。
  • 特徴量の変換:特徴量に対数変換や平方根変換などを行い、データの非線形問題を解決します。
  • 特徴量の作成:既存のデータから新しい特徴量を作成します。例:タイムスタンプから日付、月、曜日などを抽出します。

例

# 例:2つの数値型特徴量を組み合わせて新しい特徴量を作成する
df['new_feature'] = df['feature1'] * df['feature2']

6、特徴抽出

特徴抽出は、元の特徴量から新しく、より表現力のある特徴量を抽出することを目的としています。

一般的な特徴抽出方法には次のものがあります:主成分分析(PCA)と線形判別分析(LDA)。

主成分分析(PCA)

PCA はよく使われる次元削減技術であり、線形変換によりデータを高次元空間から低次元空間にマッピングして、新しい特徴量(主成分)がデータの分散を可能な限り保持するようにします。

PCA は特徴量の数が多すぎる場合に特に適しており、計算の複雑さを効果的に削減できます。

例

from sklearn.decomposition import PCA

# X が特徴量行列であるとします
pca = PCA(n_components=2)  # 2つの主成分に次元削減する
X_pca = pca.fit_transform(X)

PCA は主に次の2つのシナリオで使用されます:

  • 次元削減:特徴量が多すぎる場合、PCA で次元削減すると計算コストを削減しつつ、データの主要な情報を保持できます。
  • 可視化:高次元データを2Dまたは3D空間にマッピングして、データ構造の可視化を支援します。

線形判別分析(LDA)

LDAは教師あり学習の次元削減手法であり、異なるクラス間の距離を最大化し、クラス内の距離を最小化する線形結合を見つけることを目的としています。

LDAは通常、分類タスクで使用されます。

例

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis

# Xは特徴行列、yはターゲット変数とします
lda = LinearDiscriminantAnalysis(n_components=2)  # 2つの線形判別成分に次元削減します
X_lda = lda.fit_transform(X, y)

7、不均衡データの処理

分類問題において、データセットの各クラスのサンプル数に大きな差がある場合、モデルが多数派クラスを予測する傾向が生じ、モデルの性能に影響を与える可能性があります。

一般的な処理方法は以下の通りです:

オーバーサンプリング(Over-sampling)

少数派クラスのサンプル数を増やすことで、データセットのバランスを向上させます。

一般的な方法として、SMOTE(Synthetic Minority Over-sampling Technique)アルゴリズムを使用します。

例

from imblearn.over_sampling import SMOTE

smote = SMOTE()
X_resampled, y_resampled = smote.fit_resample(X_train, y_train)

アンダーサンプリング(Under-sampling)

多数派クラスのサンプル数を減らすことで、データセットのバランスを向上させます。

例

from imblearn.under_sampling import RandomUnderSampler

undersampler = RandomUnderSampler()
X_resampled, y_resampled = undersampler.fit_resample(X_train, y_train)
その他の拡張