Основные понятия Sklearn
При использовании Sklearn для машинного обучения необходимо понимать некоторые основные понятия.
Sklearn предоставляет единый и лаконичный API для реализации различных алгоритмов и рабочих процессов машинного обучения, помогая нам быстро выполнять различные задачи машинного обучения.
Далее мы подробно рассмотрим следующие понятия:представление данных, типы моделей, методы предварительной обработки, метрики оценки, настройка моделии т. д.
1. Представление данных: наборы данных и признаки
Набор данных — одно из самых базовых понятий в Sklearn.
Основная задача машинного обучения — выявлять закономерности в данных, и способ представления данных имеет решающее значение.
Набор данных
В scikit-learn данные обычно представляются двумя основными объектами:матрица признаковивектор целевых значений。
Матрица признаков:Каждая строка представляет образец данных, а каждый столбец — признак (т. е. входную переменную). Это двумерный массив или матрица, обычно хранящаяся как массив NumPy или pandas DataFrame.
Предположим, у нас есть 3 образца, каждый с 2 признаками.
Пример
X = np.array([[1.0, 2.0], [2.0, 3.0], [3.0, 4.0]])
Вектор целевых значений:Он представляет целевое значение каждого образца (т. е. выходную метку), обычно одномерный массив.
Например, в задаче классификации целевое значение — это метка класса каждого образца.
Соответствующий вектор целевых значений:
y = np.array([0, 1, 0]) # 0 类别和 1 类别
Признаки и метки
Признаки: — это входные переменные в наборе данных, используемые для обучения модели. В примере выше,
X— это матрица признаков, содержащая все входные переменные.Метки: — это целевые выходы модели машинного обучения. В обучении с учителем метки — это результаты, которые мы хотим, чтобы модель предсказывала. В примере выше,
y— это вектор меток или целевых значений, содержащий класс каждого образца.
Разделение набора данных
В практических приложениях обычно необходимо разделить набор данных на обучающую и тестовую выборки.
scikit-learn предоставляет удобную функциюtrain_test_split()для этого:
Пример
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
- Приведённый выше код вызывает
train_test_splitфункцию и присваивает результат четырём переменным:X_train、X_test、y_trainиy_test。 Xиyпередаются вtrain_test_splitпараметры функции, которые соответственно представляют набор данных признаков и целевую переменную (метки). ОбычноX— это двумерный массив,yявляется одномерным массивом.test_size=0.3Параметр задаёт, что размер тестового набора должен составлять 30% от исходного набора данных. Это означает, что 70% данных будут использованы в качестве обучающего набора, а оставшиеся 30% — в качестве тестового набора.random_state=42Параметр — это начальное значение генератора случайных чисел, используемое для того, чтобы при каждом разделении набора данных получался один и тот же результат. Это очень полезно в экспериментах и при валидации модели, поскольку обеспечивает воспроизводимость результатов.
2. Модели и алгоритмы
Обучение с учителем и без учителя
В scikit-learn модели машинного обучения условно делятся на две основные категории:обучение с учителемиобучение без учителя。
Обучение с учителем:При обучении с учителем модель учится на размеченных данных в процессе обучения; эти метки — это результаты, которые мы хотим, чтобы модель предсказывала.
Типичные задачи обучения с учителем включают классификацию и регрессию.
- Классификация: отнесение точек данных к заранее заданным категориям. Например, определение того, является ли электронное письмо спамом или не спамом.
- Регрессия: предсказание непрерывных значений на выходе. Например, прогнозирование цен на дома, температур и т. д.
Использование дерева решений для задачи классификации:
Пример
clf = DecisionTreeClassifier()
clf.fit(X_train, y_train)
y_pred = clf.predict(X_test)
Обучение без учителя:Обучение без учителя означает обучение без размеченных данных; модель учится только на характеристиках самих входных данных.
К распространённым задачам обучения без учителя относятся кластеризация и снижение размерности.
- Кластеризация: группировка данных так, чтобы данные внутри одной группы были похожи. Распространённые алгоритмы кластеризации включаютK-Means、DBSCANи т. д.
- Снижение размерности: сокращение числа признаков в данных, часто используется для сжатия данных или визуализации. Распространённые методы снижения размерности включаютPCA(анализ главных компонент) иt-SNE(стохастическое вложение соседей с t-распределением), и т. д.
Использование кластеризации K-Means:
Пример
kmeans = KMeans(n_clusters=3)
kmeans.fit(X_train)
y_pred = kmeans.predict(X_test)
Предобработка и инженерия признаков
Перед использованием scikit-learn для машинного обучения обычно необходимо предварительно обработать данные. Это включает следующие распространённые задачи:
1. Стандартизация:Приведите масштаб признаков к единому виду, чтобы каждый признак имел нулевое среднее и единичную дисперсию.
Пример
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
2. Нормализация:Масштабируйте значения признаков к фиксированному диапазону (обычно от 0 до 1).
Пример
scaler = MinMaxScaler()
X_normalized = scaler.fit_transform(X)
3. Кодирование категориальных переменных:Преобразуйте категориальные данные в числовые (например, one-hot-кодирование).
3. Оценка и валидация модели
После обучения модели машинного обучения необходимо оценить её качество, чтобы убедиться в её способности к обобщению.
scikit-learn предоставляет некоторые инструменты для оценки качества модели.
Кросс-валидация
Перекрёстная проверка — распространённый метод оценки модели, особенно когда объём данных ограничен.
Разделяя данные на несколько подмножеств, используя каждый раз одно подмножество как валидационную выборку, а остальные как обучающую, модель многократно обучают и оценивают, и в итоге вычисляется среднее качество модели.
Пример
scores = cross_val_score(clf, X, y, cv=5) # 5-кратная кросс-валидация
print("Оценки кросс-валидации:", scores)
Распространённые метрики оценки
Метрики оценки для задач классификации:
- Accuracy: Доля правильно предсказанных примеров среди всех примеров.
- Precision: Доля фактически положительных классов среди предсказанных положительных классов.
- Recall: Доля правильно предсказанных примеров среди фактически положительных классов.
- F1 Score: Среднее гармоническое точности и полноты.
Пример
print("Accuracy:", accuracy_score(y_test, y_pred))
print("Отчёт по классификации:\n", classification_report(y_test, y_pred))
Метрики оценки для задач регрессии:
- Среднеквадратичная ошибка (MSE): Среднее квадратов разностей между предсказанными и истинными значениями.
- Коэффициент детерминации (R²): Измеряет способность модели объяснять изменчивость данных.
Пример
print("MSE:", mean_squared_error(y_test, y_pred))
print("R²:", r2_score(y_test, y_pred))
4. Выбор модели и настройка гиперпараметров
Поиск по сетке
Поиск по сетке— часто используемый метод настройки гиперпараметров, который находит лучшую комбинацию гиперпараметров, перебирая все возможные комбинации параметров.
Пример
param_grid = {'max_depth': [3, 5, 7], 'min_samples_split': [2, 5, 10]}
grid_search = GridSearchCV(DecisionTreeClassifier(), param_grid, cv=5)
grid_search.fit(X_train, y_train)
print("Лучшие параметры:", grid_search.best_params_)
Случайный поиск
Случайный поиск— это метод, который ищет оптимальные гиперпараметры путём случайного выбора комбинаций гиперпараметров. Он эффективнее, чем поиск по сетке.
Пример
from scipy.stats import randint
param_dist = {'max_depth': [3, 5, 7], 'min_samples_split': randint(2, 10)}
random_search = RandomizedSearchCV(DecisionTreeClassifier(), param_dist, n_iter=10, cv=5)
random_search.fit(X_train, y_train)
print("Best parameters:", random_search.best_params_)