Оценка и настройка моделей в Sklearn

Оценка и настройка моделей машинного обучения — ключевые шаги для обеспечения обобщающей способности модели и точности прогнозирования.

С помощью подходящих метрик оценки и методов настройки можно эффективно улучшить производительность модели, избегая риска переобучения или недообучения.

В этой главе подробно рассматриваются кросс-валидация, поиск по сетке, случайный поиск, методы оценки модели и другой материал.


1. Кросс-валидация

Введение в понятие кросс-валидации

Кросс-валидация — это метод, используемый для оценки качества модели. Он делит набор данных на несколько подмножеств (фолдов) и обучает и тестирует модель несколько раз, чтобы получить более стабильные и надёжные результаты оценки.

Кросс-валидация помогает обнаружить, переобучается ли модель, и позволяет более точно оценить способность модели к обобщению.

Распространённые методы кросс-валидации включают:

  • K-кратная кросс-валидация: Данные делятся на K частей, по очереди одна часть выбирается в качестве тестовой, остальные K-1 частей используются как обучающая, процедура повторяется K раз, и в итоге вычисляется среднее по K результатам.
  • Кросс-валидация с исключением по одному (LOOCV): Каждый раз только одна точка данных остаётся в качестве тестового набора, а остальные — в качестве обучающего. Этот метод очень трудоёмкий, но может использоваться для небольших наборов данных.
  • Стратифицированная K-кратная кросс-валидация: В K-кратной кросс-валидации гарантируется, что распределение классов в каждой части аналогично всему набору данных; подходит для случаев дисбаланса классов.

scikit-learn предоставляет несколько методов кросс-валидации, таких как cross_val_score и cross_val_predict, которые помогают нам эффективно выполнять кросс-валидацию.

Использование cross_val_score для выполнения K-кратной кросс-валидации

Функция cross_val_score используется для выполнения K-кратной кросс-валидации, возвращая оценку каждой части, чтобы помочь нам оценить стабильность и качество модели.

Используйте cross_val_score для K-кратной кросс-валидации:

Пример

from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris

# Загрузить данные
data = load_iris()
X, y = data.data, data.target

# Создание модели
model = RandomForestClassifier()

# Выполнить K-кратную кросс-валидацию
scores = cross_val_score(model, X, y, cv=5)  # 5-кратная кросс-валидация
print(f"Оценки кросс-валидации: {scores}")
print(f"Средняя точность: {scores.mean()}")
  • cv=5: Указывает на выполнение 5-кратной кросс-валидации.
  • scores: Возвращает оценку каждого фолда, а итоговый результат — среднее этих оценок, отражающее производительность модели.

Вывод следующий:

Cross-validation scores: [0.96666667 0.96666667 0.93333333 0.96666667 1.        ]
Mean accuracy: 0.9666666666666668

2. Поиск по сетке и случайный поиск

Используйте GridSearchCV для настройки гиперпараметров

GridSearchCV — это метод, который находит гиперпараметры путём полного перебора всех комбинаций гиперпараметров.

GridSearchCV вычисляет производительность каждой комбинации, предоставляя набор возможных значений параметров, и в итоге выбирает лучшую комбинацию параметров.

Общие параметры GridSearchCV:

  • param_grid: Сетка гиперпараметров для настройки, обычно словарь, в котором ключи — имена параметров, а значения — возможные значения этих параметров.
  • cv: Количество разбиений при кросс-валидации, обычно устанавливается равным 5 или 10.

Пример использования GridSearchCV в scikit-learn:

Пример

from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC
from sklearn.datasets import load_iris

# Загрузить данные
data = load_iris()
X, y = data.data, data.target

# Создание модели
model = SVC()

# Определяем сетку гиперпараметров
param_grid = {'kernel': ['linear', 'rbf'], 'C': [1, 10, 100]}

# Выполняем поиск по сетке
grid_search = GridSearchCV(model, param_grid, cv=5)
grid_search.fit(X, y)

# Вывод лучших параметров и лучшей оценки
print(f"Лучшие параметры: {grid_search.best_params_}")
print(f"Best score: {grid_search.best_score_}")
  • grid_search.best_params_: Возвращает наиболее эффективную комбинацию гиперпараметров, найденную при поиске по сетке.
  • grid_search.best_score_: Возвращает оценку кросс-валидации при лучшей комбинации параметров.

Вывод следующий:

Best parameters: {'C': 1, 'kernel': 'linear'}
Best score: 0.9800000000000001

Используйте RandomizedSearchCV для ускорения процесса настройки

RandomizedSearchCV — более эффективный метод настройки гиперпараметров, который ускоряет процесс настройки за счёт случайного выбора определённого количества комбинаций из пространства гиперпараметров для оценки.

RandomizedSearchCV подходит для больших пространств гиперпараметров и может сэкономить вычислительное время.

Общие параметры RandomizedSearchCV:

  • param_distributions: распределение гиперпараметров, которое нужно настроить, обычно словарь, где значения могут быть объектами распределений (например,scipy.statsраспределения в) или список дискретных значений.
  • n_iter: количество итераций случайного поиска, т. е. количество случайно выбранных комбинаций гиперпараметров.

Пример использования RandomizedSearchCV в scikit-learn:

Пример

from sklearn.model_selection import RandomizedSearchCV
from sklearn.svm import SVC
from sklearn.datasets import load_iris
from scipy.stats import uniform

# Загрузить данные
data = load_iris()
X, y = data.data, data.target

# Создание модели
model = SVC()

# Определение распределения гиперпараметров
param_distributions = {'C': uniform(0, 10), 'kernel': ['linear', 'rbf']}

# Выполнить случайный поиск
random_search = RandomizedSearchCV(model, param_distributions, n_iter=10, cv=5)
random_search.fit(X, y)

# Вывод лучших параметров и лучшей оценки
print(f"Лучшие параметры: {random_search.best_params_}")
print(f"Лучшая оценка: {random_search.best_score_}")
  • random_search.best_params_: Возвращает лучшую комбинацию гиперпараметров в случайном поиске.
  • random_search.best_score_: Возвращает оценку кросс-валидации при лучшей комбинации параметров.

Вывод следующий:

Best parameters: {'C': 8.355688344706016, 'kernel': 'rbf'}
Best score: 0.9866666666666667

3. Оценка модели

Используйте classification_report, confusion_matrix, roc_auc_score

Для моделей классификации мы обычно используем такие метрики, как precision, recall и F1 score, для оценки производительности модели.

scikit-learn предоставляет множество инструментов оценки, помогающих нам глубже понять производительность модели.

classification_report- Предоставляет информацию, такую как precision, recall, F1 score и support (количество образцов в каждом классе).

Пример

from sklearn.metrics import classification_report

# Предположим, y_test — истинные метки, y_pred — результаты предсказания модели.
print(classification_report(y_test, y_pred))

confusion_matrix— матрица ошибок используется для отображения эффективности модели классификации по каждому классу, особенно того, как положительные классы предсказываются как отрицательные, и наоборот.

Пример

from sklearn.metrics import confusion_matrix

# Предположим, y_test — истинные метки, y_pred — результаты предсказания модели.
print(confusion_matrix(y_test, y_pred))

roc_auc_score— ROC AUC (площадь под кривой рабочей характеристики приёмника) — это метрика для оценки эффективности модели классификации, особенно подходящая для несбалансированных наборов данных. Чем выше значение AUC, тем лучше эффективность модели.

Пример

from sklearn.metrics import roc_auc_score

# Предположим, y_test — истинные метки, y_pred_proba — предсказанные моделью значения вероятностей
print(f"ROC AUC Score: {roc_auc_score(y_test, y_pred_proba)}")

Оценка регрессионной модели: mean_squared_error, r2_score

Для задач регрессии обычно используемые метрики оценки включают среднеквадратичную ошибку (MSE) и коэффициент детерминации (R²).

mean_squared_error— среднеквадратичная ошибка — распространённый критерий оценки регрессионных моделей, вычисляющий среднее квадратов ошибок между предсказанными и истинными значениями.

Пример

from sklearn.metrics import mean_squared_error

# Предположим, y_test — истинные значения, y_pred — предсказанные значения
print(f"Mean Squared Error: {mean_squared_error(y_test, y_pred)}")

r2_score— коэффициент детерминации R² используется для измерения того, насколько хорошо модель соответствует данным. Чем ближе значение к 1, тем лучше соответствие модели.

Пример

from sklearn.metrics import r2_score

# Предположим, y_test — истинные значения, y_pred — предсказанные значения
print(f"R² Score: {r2_score(y_test, y_pred)}")
Другие расширения