Основные понятия Sklearn

При использовании Sklearn для машинного обучения необходимо понимать некоторые основные понятия.

Sklearn предоставляет единый и лаконичный API для реализации различных алгоритмов и рабочих процессов машинного обучения, помогая нам быстро выполнять различные задачи машинного обучения.

Далее мы подробно рассмотрим следующие понятия:представление данных, типы моделей, методы предварительной обработки, метрики оценки, настройка моделии т. д.


1. Представление данных: наборы данных и признаки

Набор данных — одно из самых базовых понятий в Sklearn.

Основная задача машинного обучения — выявлять закономерности в данных, и способ представления данных имеет решающее значение.

Набор данных

В scikit-learn данные обычно представляются двумя основными объектами:матрица признаковивектор целевых значений。

Матрица признаков:Каждая строка представляет образец данных, а каждый столбец — признак (т. е. входную переменную). Это двумерный массив или матрица, обычно хранящаяся как массив NumPy или pandas DataFrame.

Предположим, у нас есть 3 образца, каждый с 2 признаками.

Пример

import numpy as np
X = np.array([[1.0, 2.0], [2.0, 3.0], [3.0, 4.0]])

Вектор целевых значений:Он представляет целевое значение каждого образца (т. е. выходную метку), обычно одномерный массив.

Например, в задаче классификации целевое значение — это метка класса каждого образца.

Соответствующий вектор целевых значений:

y = np.array([0, 1, 0])  # 0 类别和 1 类别

Признаки и метки

  • Признаки: — это входные переменные в наборе данных, используемые для обучения модели. В примере выше,X— это матрица признаков, содержащая все входные переменные.

  • Метки: — это целевые выходы модели машинного обучения. В обучении с учителем метки — это результаты, которые мы хотим, чтобы модель предсказывала. В примере выше,y— это вектор меток или целевых значений, содержащий класс каждого образца.

Разделение набора данных

В практических приложениях обычно необходимо разделить набор данных на обучающую и тестовую выборки.

scikit-learn предоставляет удобную функциюtrain_test_split()для этого:

Пример

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
  • Приведённый выше код вызываетtrain_test_splitфункцию и присваивает результат четырём переменным:X_train、X_test、y_trainиy_test。
  • Xиyпередаются вtrain_test_splitпараметры функции, которые соответственно представляют набор данных признаков и целевую переменную (метки). ОбычноX— это двумерный массив,yявляется одномерным массивом.
  • test_size=0.3Параметр задаёт, что размер тестового набора должен составлять 30% от исходного набора данных. Это означает, что 70% данных будут использованы в качестве обучающего набора, а оставшиеся 30% — в качестве тестового набора.
  • random_state=42Параметр — это начальное значение генератора случайных чисел, используемое для того, чтобы при каждом разделении набора данных получался один и тот же результат. Это очень полезно в экспериментах и при валидации модели, поскольку обеспечивает воспроизводимость результатов.

2. Модели и алгоритмы

Обучение с учителем и без учителя

В scikit-learn модели машинного обучения условно делятся на две основные категории:обучение с учителемиобучение без учителя。

Обучение с учителем:При обучении с учителем модель учится на размеченных данных в процессе обучения; эти метки — это результаты, которые мы хотим, чтобы модель предсказывала.

Типичные задачи обучения с учителем включают классификацию и регрессию.

  • Классификация: отнесение точек данных к заранее заданным категориям. Например, определение того, является ли электронное письмо спамом или не спамом.
  • Регрессия: предсказание непрерывных значений на выходе. Например, прогнозирование цен на дома, температур и т. д.

Использование дерева решений для задачи классификации:

Пример

from sklearn.tree import DecisionTreeClassifier
clf = DecisionTreeClassifier()
clf.fit(X_train, y_train)
y_pred = clf.predict(X_test)

Обучение без учителя:Обучение без учителя означает обучение без размеченных данных; модель учится только на характеристиках самих входных данных.

К распространённым задачам обучения без учителя относятся кластеризация и снижение размерности.

  • Кластеризация: группировка данных так, чтобы данные внутри одной группы были похожи. Распространённые алгоритмы кластеризации включаютK-Means、DBSCANи т. д.
  • Снижение размерности: сокращение числа признаков в данных, часто используется для сжатия данных или визуализации. Распространённые методы снижения размерности включаютPCA(анализ главных компонент) иt-SNE(стохастическое вложение соседей с t-распределением), и т. д.

Использование кластеризации K-Means:

Пример

from sklearn.cluster import KMeans
kmeans = KMeans(n_clusters=3)
kmeans.fit(X_train)
y_pred = kmeans.predict(X_test)

Предобработка и инженерия признаков

Перед использованием scikit-learn для машинного обучения обычно необходимо предварительно обработать данные. Это включает следующие распространённые задачи:

1. Стандартизация:Приведите масштаб признаков к единому виду, чтобы каждый признак имел нулевое среднее и единичную дисперсию.

Пример

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

2. Нормализация:Масштабируйте значения признаков к фиксированному диапазону (обычно от 0 до 1).

Пример

from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
X_normalized = scaler.fit_transform(X)

3. Кодирование категориальных переменных:Преобразуйте категориальные данные в числовые (например, one-hot-кодирование).


3. Оценка и валидация модели

После обучения модели машинного обучения необходимо оценить её качество, чтобы убедиться в её способности к обобщению.

scikit-learn предоставляет некоторые инструменты для оценки качества модели.

Кросс-валидация

Перекрёстная проверка — распространённый метод оценки модели, особенно когда объём данных ограничен.

Разделяя данные на несколько подмножеств, используя каждый раз одно подмножество как валидационную выборку, а остальные как обучающую, модель многократно обучают и оценивают, и в итоге вычисляется среднее качество модели.

Пример

from sklearn.model_selection import cross_val_score
scores = cross_val_score(clf, X, y, cv=5)  # 5-кратная кросс-валидация
print("Оценки кросс-валидации:", scores)

Распространённые метрики оценки

Метрики оценки для задач классификации:

  • Accuracy: Доля правильно предсказанных примеров среди всех примеров.
  • Precision: Доля фактически положительных классов среди предсказанных положительных классов.
  • Recall: Доля правильно предсказанных примеров среди фактически положительных классов.
  • F1 Score: Среднее гармоническое точности и полноты.

Пример

from sklearn.metrics import accuracy_score, classification_report
print("Accuracy:", accuracy_score(y_test, y_pred))
print("Отчёт по классификации:\n", classification_report(y_test, y_pred))

Метрики оценки для задач регрессии:

  • Среднеквадратичная ошибка (MSE): Среднее квадратов разностей между предсказанными и истинными значениями.
  • Коэффициент детерминации (R²): Измеряет способность модели объяснять изменчивость данных.

Пример

from sklearn.metrics import mean_squared_error, r2_score
print("MSE:", mean_squared_error(y_test, y_pred))
print("R²:", r2_score(y_test, y_pred))

4. Выбор модели и настройка гиперпараметров

Поиск по сетке

Поиск по сетке— часто используемый метод настройки гиперпараметров, который находит лучшую комбинацию гиперпараметров, перебирая все возможные комбинации параметров.

Пример

from sklearn.model_selection import GridSearchCV

param_grid = {'max_depth': [3, 5, 7], 'min_samples_split': [2, 5, 10]}
grid_search = GridSearchCV(DecisionTreeClassifier(), param_grid, cv=5)
grid_search.fit(X_train, y_train)
print("Лучшие параметры:", grid_search.best_params_)

Случайный поиск

Случайный поиск— это метод, который ищет оптимальные гиперпараметры путём случайного выбора комбинаций гиперпараметров. Он эффективнее, чем поиск по сетке.

Пример

from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import randint

param_dist = {'max_depth': [3, 5, 7], 'min_samples_split': randint(2, 10)}
random_search = RandomizedSearchCV(DecisionTreeClassifier(), param_dist, n_iter=10, cv=5)
random_search.fit(X_train, y_train)
print("Best parameters:", random_search.best_params_)
Другие расширения