Пользовательские модели и признаки в Sklearn
Пользовательские модели могут расширять функциональность scikit-learn, чтобы удовлетворять потребности конкретных сценариев применения.
В scikit-learn, помимо использования готовых моделей и функций предварительной обработки, пользователи также могут создавать собственные модели, преобразователи и признаки в соответствии со своими потребностями.
Реализация пользовательских моделей и признаков обычно включает наследование от базовых классов scikit-learn, таких как BaseEstimator и TransformerMixin, а затем реализацию конкретных методов fit и predict.
В этой главе будут подробно рассмотрены следующие аспекты:
- Пользовательский преобразователь
- Пользовательский оценщик
- Пользовательские шаги конвейера
- Как использовать наследование
BaseEstimatorиTransformerMixinдля реализации пользовательских алгоритмов
1. Пользовательский трансформер
Трансформер — это компонент, используемый для преобразования данных, например, стандартизация, отбор признаков и т. д. Пользовательские трансформеры могут наследоватьTransformerMixin, и реализовыватьfitиtransformметоды.
Шаги по созданию пользовательского трансформера:
fitметод: обычно используется для изучения атрибутов данных (таких как среднее, дисперсия, критерии отбора признаков и т. д.).fitМетод возвращает сам трансформер, чтобы можно было использовать цепочки вызовов.transformметод: применяет изученные атрибуты для преобразования или обработки данных.
Пример пользовательского трансформера: пользовательский трансформер стандартизации:
Предположим, мы хотим реализовать пользовательский трансформер стандартизации. Стандартизация масштабирует каждый признак данных так, чтобы среднее было равно 0, а дисперсия — 1.
Пример
from sklearn.base import BaseEstimator, TransformerMixin
class CustomScaler(BaseEstimator, TransformerMixin):
def fit(self, X, y=None):
"""
Вычислите среднее значение и стандартное отклонение каждого признака
"""
self.mean_ = np.mean(X, axis=0)
self.std_ = np.std(X, axis=0)
return self # Вернуть сам объект
def transform(self, X):
"""
Стандартизировать данные
"""
return (X - self.mean_) / self.std_
# Проверить пользовательский преобразователь
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
# Загрузить данные
data = load_iris()
X, y = data.data, data.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# Создать объект пользовательского преобразователя
scaler = CustomScaler()
# Использовать пользовательскую стандартизацию
scaler.fit(X_train)
X_train_scaled = scaler.transform(X_train)
X_test_scaled = scaler.transform(X_test)
print("Масштабированные обучающие данные:\n", X_train_scaled)
Вывод следующий:
Scaled training data: [[-1.47393679 1.20365799 -1.56253475 -1.31260282] [-0.13307079 2.99237573 -1.27600637 -1.04563275] [ 1.08589829 0.08570939 0.38585821 0.28921757] [-1.23014297 0.75647855 -1.2187007 -1.31260282] [-1.7177306 0.30929911 -1.39061772 -1.31260282] ....
Пояснение:
Класс CustomScaler реализует процесс стандартизации, аналогичный StandardScaler в scikit-learn.
fitМетод вычисляет среднее и стандартное отклонение обучающих данных и сохраняет эти значения.transformМетод используетfitсреднее и стандартное отклонение, вычисленные в методе fit, для преобразования данных.
2. Пользовательский оценщик
Оценщик — это сама модель, например регрессоры, классификаторы и т.д.
Пользовательские оценщики должны наследовать класс BaseEstimator и реализовывать методы fit и predict.
Шаги для пользовательского оценщика:
fitметод: используется для обучения модели и вычисления необходимых параметров (таких как веса, смещения и т.д.).predictметод: предсказывает входные данные на основе обученных параметров.
Пример пользовательского оценщика: простой классификатор
Предположим, мы хотим реализовать очень простой классификатор: использовать среднее значение каждого признака в качестве порога; если значение признака превышает среднее, предсказать класс 1; иначе предсказать класс 0.
Пример
import numpy as np
class SimpleClassifier(BaseEstimator):
def fit(self, X, y):
"""
Обучите модель: вычислите среднее значение каждого признака
"""
self.mean_ = np.mean(X, axis=0)
return self # Вернуть сам объект
def predict(self, X):
"""
Классифицируйте на основе среднего значения: если значение признака больше среднего, предскажите 1; иначе предскажите 0
"""
return (X > self.mean_).astype(int)
# Проверка пользовательского классификатора
X_train = np.array([[1.5, 2.5], [2.0, 3.0], [3.5, 4.5], [4.0, 5.0]])
y_train = np.array([0, 0, 1, 1])
# Создание объекта пользовательского классификатора
classifier = SimpleClassifier()
# Обучаем модель
classifier.fit(X_train, y_train)
# Сделать предсказания
X_test = np.array([[2.5, 3.5], [1.0, 2.0]])
y_pred = classifier.predict(X_test)
print("Предсказания:", y_pred)
Вывод следующий:
Predictions: [[0 0] [0 0]]
Пояснение:
fitМетод вычисляет среднее значение обучающих данных и сохраняет его вself.mean_атрибута.predictМетод выполняет предсказания классификации, сравнивая тестовые данные со средним значением.
Такой тип пользовательского классификатора редко используется на практике, но он демонстрирует, как использовать BaseEstimator для создания простой модели.
3. Пользовательские шаги конвейера
scikit-learn позволяет использовать пользовательские преобразователи и оценщики в качестве шагов конвейера. Это позволяет объединить предобработку данных и обучение модели в единый рабочий процесс. Пользовательские модели и признаки могут работать с конвейерами так же, как встроенные преобразователи и оценщики.
Использование пользовательских преобразователей и оценщиков в конвейере
Пример
from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.pipeline import Pipeline
class CustomScaler(BaseEstimator, TransformerMixin):
def fit(self, X, y=None):
"""
Вычислите среднее значение и стандартное отклонение каждого признака
"""
self.mean_ = np.mean(X, axis=0)
self.std_ = np.std(X, axis=0)
return self # Вернуть сам объект
def transform(self, X):
"""
Стандартизировать данные
"""
return (X - self.mean_) / self.std_
class SimpleClassifier(BaseEstimator):
def fit(self, X, y):
"""
Обучите модель: вычислите среднее значение каждого признака
"""
self.mean_ = np.mean(X, axis=0)
return self # Вернуть сам объект
def predict(self, X):
"""
Классифицируйте на основе среднего значения: если значение признака больше среднего, предскажите 1; иначе предскажите 0
"""
return (X > self.mean_).astype(int)
# Проверка пользовательского классификатора
X_train = np.array([[1.5, 2.5], [2.0, 3.0], [3.5, 4.5], [4.0, 5.0]])
y_train = np.array([0, 0, 1, 1])
# Создать конвейер, содержащий пользовательскую стандартизацию и классификатор
pipeline = Pipeline([
('scaler', CustomScaler()), # Пользовательская стандартизация
('classifier', SimpleClassifier()) # Пользовательский классификатор
])
# Обучение конвейера
pipeline.fit(X_train, y_train)
X_test = np.array([[2.5, 3.5], [1.0, 2.0]])
# Прогнозирование
y_pred = pipeline.predict(X_test)
print("Предсказания:", y_pred)
Вывод следующий:
Predictions: [[0 0] [0 0]]
Пояснение:
Мы используем CustomScaler и SimpleClassifier в качестве шагов конвейера, используя конвейер для автоматического выполнения предобработки данных и обучения модели.
Таким образом, весь рабочий процесс конвейера можно завершить с помощью одного вызова fit и predict, сохраняя эффективность и простоту.
Как реализовать пользовательские алгоритмы, наследуя BaseEstimator и TransformerMixin
BaseEstimator: — это базовый класс для всех оценщиков scikit-learn. Он предоставляетget_params()иset_params()методы, что позволяет пользовательским оценщикам работать вместеGridSearchCVс другими инструментами.TransformerMixin: — это базовый класс для всех преобразователей scikit-learn. Он предоставляетfit_transform()методы, что позволяет использовать преобразователи вместеPipelineс конвейером.
Наследуя эти два базовых класса, мы можем очень удобно создавать свои собственные модели и признаки, а также использовать инструменты scikit-learn (такие как GridSearchCV и Pipeline) для настройки и оценки.
Полный пример пользовательского преобразователя и оценщика:
Пример
import numpy as np
class CustomEstimator(BaseEstimator, TransformerMixin):
def fit(self, X, y=None):
# Имитация простой "модели": вычисление среднего значения каждого признака
self.mean_ = np.mean(X, axis=0)
return self
def transform(self, X):
# Стандартизировать данные на основе среднего значения
return X - self.mean_
def predict(self, X):
# Простой метод предсказания: если значение признака больше среднего, предсказать 1; иначе предсказать 0
return (X > self.mean_).astype(int)
# Использовать пользовательский оценщик и преобразователь
from sklearn.pipeline import Pipeline
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
# Загрузить данные
data = load_iris()
X, y = data.data, data.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# Создание конвейера
pipeline = Pipeline([
('custom', CustomEstimator())
])
# Обучаем модель
pipeline.fit(X_train, y_train)
# Прогнозирование
y_pred = pipeline.predict(X_test)
print("Предсказания:", y_pred)
В приведённом выше примере мы создали пользовательский оценщик CustomEstimator, который не только выполняет стандартизацию (transform), но и выполняет предсказание (predict). Затем мы использовали его как часть конвейера для обучения и предсказания.
Вывод следующий:
Predictions: [[1 0 1 1] [0 1 0 0] [1 0 1 1] [1 0 1 1] [1 0 1 1] [0 1 0 0] [0 0 0 1] [1 1 1 1] [1 0 1 1] [0 0 1 1] ...Другие расширения