Примеры применения Sklearn

Набор данных Iris — один из самых классических вводных наборов данных в машинном обучении.

Набор данных Iris содержит три вида ириса (Setosa, Versicolor, Virginica) и 4 признака для каждого цветка: длина чашелистика, ширина чашелистика, длина лепестка и ширина лепестка.

Далее наша задача — предсказать вид ириса на основе этих признаков.

Пример в этой главе охватит такие этапы, как загрузка данных, визуализация, отбор признаков, предобработка данных, построение модели классификации, оценка модели и оптимизация.


1. Загрузка и визуализация данных

Загрузка данных

Сначала загрузим набор данных Iris. scikit-learn предоставляет интерфейс для прямой загрузки набора данных Iris.

Пример

from sklearn.datasets import load_iris
import pandas as pd

# Загрузить набор данных Iris
data = load_iris()

# Преобразование в DataFrame для удобного просмотра
df = pd.DataFrame(data.data, columns=data.feature_names)
df['target'] = data.target
df['species'] = df['target'].apply(lambda x: data.target_names[x])

# Просмотреть первые несколько строк данных
print(df.head())

Вывод:

   sepal length (cm)  sepal width (cm)  petal length (cm)  petal width (cm)  target species
0                 5.1               3.5                1.4               0.2       0   setosa
1                 4.9               3.0                1.4               0.2       0   setosa
2                 4.7               3.2                1.3               0.2       0   setosa
3                 4.6               3.1                1.5               0.2       0   setosa
4                 5.0               3.6                1.4               0.2       0   setosa

На данный момент данные успешно загружены, и мы можем видеть признаки и соответствующие виды цветков для каждой записи.

Визуализация данных

Чтобы лучше понять данные, мы можем визуализировать связи между различными признаками. Для визуализации мы можем использовать библиотеки matplotlib и seaborn.

Пример

from sklearn.datasets import load_iris
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

# Загрузить набор данных Iris
data = load_iris()

# Преобразование в DataFrame для удобного просмотра
df = pd.DataFrame(data.data, columns=data.feature_names)
df['target'] = data.target
df['species'] = df['target'].apply(lambda x: data.target_names[x])

# Построить графики зависимостей между признаками
sns.pairplot(df, hue="species")
plt.show()

pairplot построит матрицу диаграмм рассеяния между признаками, используя разные цвета для идентификации разных видов ирисов. Это помогает нам понять распределение каждого признака и связи между ними.

Отображаемый график выглядит следующим образом:

Тепловая карта для визуализации корреляций между признаками

С помощью тепловой карты мы можем увидеть корреляции между признаками. Более сильные корреляции могут помочь нам сделать лучший выбор при моделировании.

Пример

from sklearn.datasets import load_iris
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

# Загрузить набор данных Iris
data = load_iris()

# Преобразование в DataFrame для удобного просмотра
df = pd.DataFrame(data.data, columns=data.feature_names)
df['target'] = data.target
df['species'] = df['target'].apply(lambda x: data.target_names[x])

# Построить графики зависимостей между признаками
correlation_matrix = df.drop(columns=['target', 'species']).corr()
sns.heatmap(correlation_matrix, annot=True, cmap="coolwarm", fmt=".2f")
plt.title("Correlation Heatmap")
plt.show()

Отображаемый график выглядит следующим образом:


2. Выбор признаков и предобработка данных

Предобработка данных

В машинном обучении предобработка данных — очень важный шаг.

Для набора данных Iris значения признаков уже числовые, поэтому большая предобработка не требуется. Однако мы можем стандартизировать данные, чтобы улучшить качество обучения модели.

Пример

from sklearn.preprocessing import StandardScaler

# Извлечение признаков и меток
X = df.drop(columns=['target', 'species'])
y = df['target']

# Стандартизировать признаки
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

Цель стандартизации — сделать так, чтобы каждый признак имел среднее 0 и дисперсию 1, что очень важно для некоторых моделей, основанных на расстоянии, таких как KNN и SVM.

Выбор признаков

Хотя признаки набора данных Iris относительно просты, в реальных задачах нам иногда нужно уменьшать размерность признаков с помощью отбора признаков, чтобы улучшить качество модели.

Мы можем использовать такие методы, как SelectKBest или рекурсивное исключение признаков (RFE).

Например, используйте SelectKBest, чтобы выбрать 2 признака, наиболее связанных с метками:

Пример

from sklearn.feature_selection import SelectKBest, f_classif

# Использовать критерий хи-квадрат для выбора 2 наиболее релевантных признаков
selector = SelectKBest(f_classif, k=2)
X_new = selector.fit_transform(X_scaled, y)

# Вывести выбранные признаки
selected_features = selector.get_support(indices=True)
print("Выбранные признаки:", X.columns[selected_features])

Это выберет 2 признака с наибольшей корреляцией с целевыми метками.


3. Построить модель классификации: используйте дерево решений или SVM для классификации

Использование классификатора дерева решений

Сначала мы попробуем использовать модель дерева решений для классификации.

Пример

from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score

# Разделить набор данных
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2, random_state=42)

# Инициализировать классификатор дерева решений
model_dt = DecisionTreeClassifier(random_state=42)

# Обучаем модель
model_dt.fit(X_train, y_train)

# Прогнозирование
y_pred_dt = model_dt.predict(X_test)

# Оценка модели
accuracy_dt = accuracy_score(y_test, y_pred_dt)
print(f"Точность дерева решений: {accuracy_dt:.4f}")

Классификация с использованием метода опорных векторов (SVM)

Далее мы можем попробовать использовать метод опорных векторов (SVM) для классификации.

Пример

from sklearn.svm import SVC

# Инициализировать классификатор SVM
model_svm = SVC(kernel='linear', random_state=42)

# Обучаем модель
model_svm.fit(X_train, y_train)

# Прогнозирование
y_pred_svm = model_svm.predict(X_test)

# Оценка модели
accuracy_svm = accuracy_score(y_test, y_pred_svm)
print(f"Точность SVM: {accuracy_svm:.4f}")

4. Оценка и оптимизация модели

Оценка модели

Помимо доли правильных ответов, можно также использовать другие метрики оценки, такие как матрица ошибок, точность, полнота и F1-мера.

Пример

from sklearn.metrics import classification_report, confusion_matrix

# Матрица ошибок
cm = confusion_matrix(y_test, y_pred_dt)
print("Матрица ошибок (дерево решений):")
print(cm)

# Точность, полнота, F1-мера
report = classification_report(y_test, y_pred_dt)
print("Отчёт о классификации (дерево решений):")
print(report)

Настройка поиска по сетке

Чтобы оптимизировать модель, мы можем использовать поиск по сетке (GridSearchCV) для настройки гиперпараметров модели и поиска наилучшей комбинации параметров.

Пример

from sklearn.model_selection import GridSearchCV

# Определяем сетку параметров для дерева решений
param_grid = {
    'max_depth': [3, 5, 10, None],
    'min_samples_split': [2, 5, 10],
    'min_samples_leaf': [1, 2, 4]
}

# Инициализируем GridSearchCV
grid_search = GridSearchCV(estimator=DecisionTreeClassifier(random_state=42), param_grid=param_grid, cv=5)

# Обучаем поиск по сетке
grid_search.fit(X_train, y_train)

# Получаем лучшие параметры и лучшую модель
print("Лучшие параметры:", grid_search.best_params_)
best_model = grid_search.best_estimator_

# Прогнозирование и оценка
y_pred_optimized = best_model.predict(X_test)
accuracy_optimized = accuracy_score(y_test, y_pred_optimized)
print(f"Точность оптимизированного дерева решений: {accuracy_optimized:.4f}")

С помощью поиска по сетке мы можем найти параметры дерева решений, которые лучше всего соответствуют текущим данным и повышают точность предсказаний модели.

Кросс-валидация

Чтобы дополнительно оценить стабильность модели, мы можем использовать кросс-валидацию для оценки её производительности.

Пример

from sklearn.model_selection import cross_val_score

# Выполнить 5-кратную кросс-валидацию
cross_val_scores = cross_val_score(best_model, X_scaled, y, cv=5)
print(f"Оценки кросс-валидации: {cross_val_scores}")
print(f"Средняя точность кросс-валидации: {cross_val_scores.mean():.4f}")

Кросс-валидация помогает нам оценить производительность модели на разных подмножествах данных и избежать переобучения.


5. Полный код

Ниже приведён полный пример кода, охватывающий такие этапы, как загрузка набора данных Iris, предварительная обработка данных, отбор признаков, построение моделей классификации, оценка модели и оптимизация. Мы будем использовать классификаторы дерева решений и SVM, а также оптимизируем гиперпараметры модели с помощью поиска по сетке.

Пример

# Импорт необходимых библиотек
import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split, GridSearchCV, cross_val_score
from sklearn.preprocessing import StandardScaler
from sklearn.tree import DecisionTreeClassifier
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score, classification_report, confusion_matrix

# 1. Загрузка данных
# Загрузить набор данных Iris
data = load_iris()

# Преобразование в DataFrame для удобного просмотра
df = pd.DataFrame(data.data, columns=data.feature_names)
df['target'] = data.target
df['species'] = df['target'].apply(lambda x: data.target_names[x])

# Просмотреть первые несколько строк данных
print("Предварительный просмотр данных:")
print(df.head())

# 2. Визуализация данных
# Построить графики зависимостей между признаками
sns.pairplot(df, hue="species")
plt.show()

# Построить тепловую карту для просмотра корреляций между признаками
correlation_matrix = df.drop(columns=['target', 'species']).corr()
sns.heatmap(correlation_matrix, annot=True, cmap="coolwarm", fmt=".2f")
plt.title("Correlation Heatmap")
plt.show()

# 3. Отбор признаков и предварительная обработка данных
# Извлечение признаков и меток
X = df.drop(columns=['target', 'species'])
y = df['target']

# Стандартизация данных
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 4. Построение моделей классификации
# Разделить набор данных
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2, random_state=42)

# Использовать классификатор дерева решений
model_dt = DecisionTreeClassifier(random_state=42)
model_dt.fit(X_train, y_train)

# Прогнозирование
y_pred_dt = model_dt.predict(X_test)

# Вывести точность дерева решений
accuracy_dt = accuracy_score(y_test, y_pred_dt)
print(f"Точность дерева решений: {accuracy_dt:.4f}")

# Использовать классификатор опорных векторов (SVM)
model_svm = SVC(kernel='linear', random_state=42)
model_svm.fit(X_train, y_train)

# Прогнозирование
y_pred_svm = model_svm.predict(X_test)

# Вывести точность SVM
accuracy_svm = accuracy_score(y_test, y_pred_svm)
print(f"Точность SVM: {accuracy_svm:.4f}")

# 5. Оценка модели
# Оценка модели дерева решений
print("\nОтчёт о классификации дерева решений:")
print(classification_report(y_test, y_pred_dt))

print("\nМатрица ошибок дерева решений:")
print(confusion_matrix(y_test, y_pred_dt))

# Оценка модели SVM
print("\nОтчёт о классификации SVM:")
print(classification_report(y_test, y_pred_svm))

print("\nМатрица ошибок SVM:")
print(confusion_matrix(y_test, y_pred_svm))

# 6. Настройка поиска по сетке
# Определяем сетку параметров для дерева решений
param_grid = {
    'max_depth': [3, 5, 10, None],
    'min_samples_split': [2, 5, 10],
    'min_samples_leaf': [1, 2, 4]
}

# Инициализируем GridSearchCV
grid_search = GridSearchCV(estimator=DecisionTreeClassifier(random_state=42), param_grid=param_grid, cv=5)
grid_search.fit(X_train, y_train)

# Получаем лучшие параметры и лучшую модель
print("\nЛучшие параметры из GridSearchCV (дерево решений):")
print(grid_search.best_params_)

# Использование лучшей модели для предсказания
best_model = grid_search.best_estimator_
y_pred_optimized = best_model.predict(X_test)

# Вывод точности оптимизированного дерева решений
accuracy_optimized = accuracy_score(y_test, y_pred_optimized)
print(f"Точность оптимизированного дерева решений: {accuracy_optimized:.4f}")

# 7. Кросс-валидация
# Выполнить 5-кратную кросс-валидацию
cross_val_scores = cross_val_score(best_model, X_scaled, y, cv=5)
print("\nОценки кросс-валидации (оптимизированное дерево решений):")
print(cross_val_scores)
print(f"Средняя точность кросс-валидации: {cross_val_scores.mean():.4f}")

Пояснение к коду:

  1. Загрузка данных:

    • Используйтеload_iris()загрузить набор данных Iris и преобразовать данные вDataFrameформат для просмотра и анализа.
  2. Визуализация данных:

    • Используйтеseabornизpairplotчтобы построить матрицу диаграмм рассеяния между признаками, и использоватьheatmapчтобы построить тепловую карту корреляций между признаками.
  3. Отбор признаков и предобработка данных:

    • Извлечь признаки (X) и метки (y), и стандартизировать данные признаков так, чтобы каждый признак имел среднее 0 и дисперсию 1.
  4. Построение модели классификации:

    • ИспользуйтеDecisionTreeClassifierиSVCОбучите классификатор на основе дерева решений и классификатор на основе опорных векторов соответственно и оцените их точность на тестовом наборе.
  5. Оценка модели:

    • Используйтеclassification_reportиconfusion_matrixВыведите подробные метрики оценки модели, включая точность, полноту, F1-меру и матрицу ошибок.
  6. Настройка поиска по сетке:

    • ИспользуйтеGridSearchCVВыполните настройку гиперпараметров для модели дерева решений, найдите лучшую комбинацию гиперпараметров и выведите точность оптимизированной модели.
  7. Кросс-валидация:

    • Используйтеcross_val_scoreВыполните 5-кратную кросс-валидацию, чтобы оценить стабильность и производительность оптимизированной модели дерева решений.

Вывод следующий:

数据预览:
   sepal length (cm)  sepal width (cm)  petal length (cm)  petal width (cm)  target species
0                 5.1               3.5                1.4               0.2       0   setosa
1                 4.9               3.0                1.4               0.2       0   setosa
2                 4.7               3.2                1.3               0.2       0   setosa
3                 4.6               3.1                1.5               0.2       0   setosa
4                 5.0               3.6                1.4               0.2       0   setosa

Decision Tree Accuracy: 1.0000
SVM Accuracy: 1.0000

Decision Tree Classification Report:
              precision    recall  f1-score   support

           0       1.00      1.00      1.00         9
           1       1.00      1.00      1.00         8
           2       1.00      1.00      1.00         8

    accuracy                           1.00        25
   macro avg       1.00      1.00      1.00        25
weighted avg       1.00      1.00      1.00        25

Decision Tree Confusion Matrix:
[[9 0 0]
 [0 8 0]
 [0 0 8]]

SVM Classification Report:
              precision    recall  f1-score   support

           0       1.00      1.00      1.00         9
           1       1.00      1.00      1.00         8
           2       1.00      1.00      1.00         8

    accuracy                           1.00        25
   macro avg       1.00      1.00      1.00        25
weighted avg       1.00      1.00      1.00        25

SVM Confusion Matrix:
[[9 0 0]
 [0 8 0]
 [0 0 8]]

Best Parameters from GridSearchCV (Decision Tree):
{'max_depth': 5, 'min_samples_leaf': 1, 'min_samples_split': 2}

Optimized Decision Tree Accuracy: 1.0000

Cross-validation Scores (Optimized Decision Tree):
[1.         1.         1.         1.         1.        ]
Mean CV Accuracy: 1.0000
Другие расширения