Оценка и настройка моделей в Sklearn
Оценка и настройка моделей машинного обучения — ключевые шаги для обеспечения обобщающей способности модели и точности прогнозирования.
С помощью подходящих метрик оценки и методов настройки можно эффективно улучшить производительность модели, избегая риска переобучения или недообучения.
В этой главе подробно рассматриваются кросс-валидация, поиск по сетке, случайный поиск, методы оценки модели и другой материал.
1. Кросс-валидация
Введение в понятие кросс-валидации
Кросс-валидация — это метод, используемый для оценки качества модели. Он делит набор данных на несколько подмножеств (фолдов) и обучает и тестирует модель несколько раз, чтобы получить более стабильные и надёжные результаты оценки.
Кросс-валидация помогает обнаружить, переобучается ли модель, и позволяет более точно оценить способность модели к обобщению.
Распространённые методы кросс-валидации включают:
- K-кратная кросс-валидация: Данные делятся на K частей, по очереди одна часть выбирается в качестве тестовой, остальные K-1 частей используются как обучающая, процедура повторяется K раз, и в итоге вычисляется среднее по K результатам.
- Кросс-валидация с исключением по одному (LOOCV): Каждый раз только одна точка данных остаётся в качестве тестового набора, а остальные — в качестве обучающего. Этот метод очень трудоёмкий, но может использоваться для небольших наборов данных.
- Стратифицированная K-кратная кросс-валидация: В K-кратной кросс-валидации гарантируется, что распределение классов в каждой части аналогично всему набору данных; подходит для случаев дисбаланса классов.
scikit-learn предоставляет несколько методов кросс-валидации, таких как cross_val_score и cross_val_predict, которые помогают нам эффективно выполнять кросс-валидацию.
Использование cross_val_score для выполнения K-кратной кросс-валидации
Функция cross_val_score используется для выполнения K-кратной кросс-валидации, возвращая оценку каждой части, чтобы помочь нам оценить стабильность и качество модели.
Используйте cross_val_score для K-кратной кросс-валидации:
Пример
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
# Загрузить данные
data = load_iris()
X, y = data.data, data.target
# Создание модели
model = RandomForestClassifier()
# Выполнить K-кратную кросс-валидацию
scores = cross_val_score(model, X, y, cv=5) # 5-кратная кросс-валидация
print(f"Оценки кросс-валидации: {scores}")
print(f"Средняя точность: {scores.mean()}")
cv=5: Указывает на выполнение 5-кратной кросс-валидации.scores: Возвращает оценку каждого фолда, а итоговый результат — среднее этих оценок, отражающее производительность модели.
Вывод следующий:
Cross-validation scores: [0.96666667 0.96666667 0.93333333 0.96666667 1. ] Mean accuracy: 0.9666666666666668
2. Поиск по сетке и случайный поиск
Используйте GridSearchCV для настройки гиперпараметров
GridSearchCV — это метод, который находит гиперпараметры путём полного перебора всех комбинаций гиперпараметров.
GridSearchCV вычисляет производительность каждой комбинации, предоставляя набор возможных значений параметров, и в итоге выбирает лучшую комбинацию параметров.
Общие параметры GridSearchCV:
param_grid: Сетка гиперпараметров для настройки, обычно словарь, в котором ключи — имена параметров, а значения — возможные значения этих параметров.cv: Количество разбиений при кросс-валидации, обычно устанавливается равным 5 или 10.
Пример использования GridSearchCV в scikit-learn:
Пример
from sklearn.svm import SVC
from sklearn.datasets import load_iris
# Загрузить данные
data = load_iris()
X, y = data.data, data.target
# Создание модели
model = SVC()
# Определяем сетку гиперпараметров
param_grid = {'kernel': ['linear', 'rbf'], 'C': [1, 10, 100]}
# Выполняем поиск по сетке
grid_search = GridSearchCV(model, param_grid, cv=5)
grid_search.fit(X, y)
# Вывод лучших параметров и лучшей оценки
print(f"Лучшие параметры: {grid_search.best_params_}")
print(f"Best score: {grid_search.best_score_}")
grid_search.best_params_: Возвращает наиболее эффективную комбинацию гиперпараметров, найденную при поиске по сетке.grid_search.best_score_: Возвращает оценку кросс-валидации при лучшей комбинации параметров.
Вывод следующий:
Best parameters: {'C': 1, 'kernel': 'linear'}
Best score: 0.9800000000000001
Используйте RandomizedSearchCV для ускорения процесса настройки
RandomizedSearchCV — более эффективный метод настройки гиперпараметров, который ускоряет процесс настройки за счёт случайного выбора определённого количества комбинаций из пространства гиперпараметров для оценки.
RandomizedSearchCV подходит для больших пространств гиперпараметров и может сэкономить вычислительное время.
Общие параметры RandomizedSearchCV:
param_distributions: распределение гиперпараметров, которое нужно настроить, обычно словарь, где значения могут быть объектами распределений (например,scipy.statsраспределения в) или список дискретных значений.n_iter: количество итераций случайного поиска, т. е. количество случайно выбранных комбинаций гиперпараметров.
Пример использования RandomizedSearchCV в scikit-learn:
Пример
from sklearn.svm import SVC
from sklearn.datasets import load_iris
from scipy.stats import uniform
# Загрузить данные
data = load_iris()
X, y = data.data, data.target
# Создание модели
model = SVC()
# Определение распределения гиперпараметров
param_distributions = {'C': uniform(0, 10), 'kernel': ['linear', 'rbf']}
# Выполнить случайный поиск
random_search = RandomizedSearchCV(model, param_distributions, n_iter=10, cv=5)
random_search.fit(X, y)
# Вывод лучших параметров и лучшей оценки
print(f"Лучшие параметры: {random_search.best_params_}")
print(f"Лучшая оценка: {random_search.best_score_}")
random_search.best_params_: Возвращает лучшую комбинацию гиперпараметров в случайном поиске.random_search.best_score_: Возвращает оценку кросс-валидации при лучшей комбинации параметров.
Вывод следующий:
Best parameters: {'C': 8.355688344706016, 'kernel': 'rbf'}
Best score: 0.98666666666666673. Оценка модели
Используйте classification_report, confusion_matrix, roc_auc_score
Для моделей классификации мы обычно используем такие метрики, как precision, recall и F1 score, для оценки производительности модели.
scikit-learn предоставляет множество инструментов оценки, помогающих нам глубже понять производительность модели.
classification_report- Предоставляет информацию, такую как precision, recall, F1 score и support (количество образцов в каждом классе).
Пример
# Предположим, y_test — истинные метки, y_pred — результаты предсказания модели.
print(classification_report(y_test, y_pred))
confusion_matrix— матрица ошибок используется для отображения эффективности модели классификации по каждому классу, особенно того, как положительные классы предсказываются как отрицательные, и наоборот.
Пример
# Предположим, y_test — истинные метки, y_pred — результаты предсказания модели.
print(confusion_matrix(y_test, y_pred))
roc_auc_score— ROC AUC (площадь под кривой рабочей характеристики приёмника) — это метрика для оценки эффективности модели классификации, особенно подходящая для несбалансированных наборов данных. Чем выше значение AUC, тем лучше эффективность модели.
Пример
# Предположим, y_test — истинные метки, y_pred_proba — предсказанные моделью значения вероятностей
print(f"ROC AUC Score: {roc_auc_score(y_test, y_pred_proba)}")
Оценка регрессионной модели: mean_squared_error, r2_score
Для задач регрессии обычно используемые метрики оценки включают среднеквадратичную ошибку (MSE) и коэффициент детерминации (R²).
mean_squared_error— среднеквадратичная ошибка — распространённый критерий оценки регрессионных моделей, вычисляющий среднее квадратов ошибок между предсказанными и истинными значениями.
Пример
# Предположим, y_test — истинные значения, y_pred — предсказанные значения
print(f"Mean Squared Error: {mean_squared_error(y_test, y_pred)}")
r2_score— коэффициент детерминации R² используется для измерения того, насколько хорошо модель соответствует данным. Чем ближе значение к 1, тем лучше соответствие модели.
Пример
# Предположим, y_test — истинные значения, y_pred — предсказанные значения
print(f"R² Score: {r2_score(y_test, y_pred)}")