Регуляризация

Представьте, что мы учимся ездить на велосипеде. Вначале мы можем сильно нервничать, крепко сжимать руль, тело зажато, пытаемся запомнить каждую деталь движения. Такое состояние чрезмерной сосредоточенности на деталях и попытки идеально контролировать каждое мельчайшее движение в машинном обучении называетсяпереобучение。

Наша модель (как вы в роли новичка) слишком сложна: она идеально запоминает каждый пример в обучающих данных, включая шум и случайные колебания, из-за чего плохо работает при столкновении с новыми, невиданными данными (например, при реальной езде по дороге), и не обладает способностью к обобщению.

Регуляризация— это основная технология, предназначенная для решения этой проблемы. Её основная идея:остудить энтузиазм модели к обучению, не дать ей зацикливаться на деталях и тем самым повысить её адаптируемость к новым условиям.Проще говоря, регуляризация добавляет дополнительный штрафной член в целевую функцию (функцию потерь) во время обучения модели, тем самым ограничивая сложность модели и не позволяя ей чрезмерно полагаться на конкретные закономерности в обучающих данных.

В этой статье мы подробно разберём принципы регуляризации, распространённые методы и их применение в инженерной практике.


Базовые понятия: компромисс между смещением и дисперсией

Прежде чем погружаться в регуляризацию, нам нужно понять два основных источника ошибки в моделях машинного обучения:смещениеидисперсия. Это помогает понять, что именно регулирует регуляризация.

  • Смещениеизмеряет собственнуюсистематическую ошибку модели.Высокое смещение означает, что модель слишком проста и не способна выучить даже базовые закономерности в обучающих данных (недообучение).
  • Дисперсияизмеряет чувствительность модели кслучайным колебаниям в обучающих данных.Высокая дисперсия означает, что модель слишком сложна и принимает шум в обучающих данных за закономерности, которые нужно выучить (переобучение).

Наша цель — найтикомпромисс между смещением и дисперсиейоптимальную точку, минимизирующую суммарную ошибку. Регуляризация — это метод, который за счётдобавления небольшого смещения (делая модель немного проще) значительно снижает дисперсию, и тем самым эффективно улучшает общую способность модели к обобщению.


L1- и L2-регуляризация

Самый классический метод регуляризации — напрямую добавить в функцию потерь штрафной член, основанный на весовых параметрах модели. В зависимости от способа вычисления штрафного члена он в основном делится на L1- и L2-регуляризацию.

Изменения в функции потерь

Функция потерь без регуляризации (на примере среднеквадратичной ошибки, MSE):Loss = (1/n) * Σ(真实值 - 预测值)²

Функция потерь после добавления регуляризационного члена:Loss_正则化 = Loss + λ * Penalty(权重)

где:

  • λ(лямбда) — этокоэффициент силы регуляризации,гиперпараметр, значение которого больше 0. Он управляет силой штрафа.λЧем больше λ, тем сильнее штраф за сложность модели, и тем проще становится модель.
  • Penalty(权重)— это штрафной член. L1 и L2 имеют разные определения.

L1-регуляризация (лассо-регрессия)

  • Штрафной член: сумма абсолютных значений всех весовых параметров модели.
  • Формула: Penalty = Σ|w_i|, гдеw_i— это i-й вес.
  • Функция потерь: Loss_L1 = Loss + λ * Σ|w_i|

Ключевые особенности:

  • Отбор признаков: L1-регуляризация склонна создаватьразреженную матрицу весов,, то есть она напрямую сжимает веса многих признаков до00. Это эквивалентно автоматическому выполнению отбора признаков, при котором модель сохраняет только самые важные признаки.
  • Геометрическая интерпретация: Геометрически её область ограничения представляет собой «ромб» (в двумерном случае — ромб). Точка оптимального решения с большей вероятностью касается «угла» этого ромба, а точки в углах означают, что некоторые координаты равны 0.

Пример кода:

Пример

from sklearn.linear_model import Lasso
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split

# Сгенерировать смоделированные данные
X, y = make_regression(n_samples=100, n_features=10, noise=0.1, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Создать модель L1-регуляризации (Lasso), задать силу регуляризации alpha (то есть λ)
lasso_model = Lasso(alpha=0.1) # Чем больше alpha, тем сильнее штраф, и больше весов становятся равными 0
lasso_model.fit(X_train, y_train)

# Посмотреть коэффициенты модели (веса), чтобы наблюдать разреженность
print(Коэффициенты модели Lasso:)
for i, coef in enumerate(lasso_model.coef_):
    print(f" Признак {i}: {coef:.4f}")

# Подсчитать количество ненулевых весов
non_zero_count = sum(lasso_model.coef_ != 0)
print(f"\nКоличество признаков с ненулевыми весами: {non_zero_count} / {X.shape)

Вывод:

Lasso 模型系数:
  特征 0: 16.6855
  特征 1: 54.0447
  特征 2: 5.0302
  特征 3: 63.5492
  特征 4: 93.4587
  特征 5: 70.5421
  特征 6: 86.9569
  特征 7: 10.2711
  特征 8: 3.0697
  特征 9: 70.7835

非零权重的特征数量: 10 / 10

L2-регуляризация (гребневая регрессия)

  • Штрафной член: сумма квадратов всех весовых параметров в модели.
  • Формула: Penalty = Σ(w_i)²
  • Функция потерь: Loss_L2 = Loss + λ * Σ(w_i)²

Ключевые особенности:

  • Затухание весов: L2-регуляризация стремится заставить все весовые параметрыприближаться к 0, но обычно они не равны 0.Она равномерно сжимает все веса, не позволяя ни одному отдельному весу стать слишком большим.
  • Улучшение плохо обусловленных задач: Для данных с мультиколлинеарностью (высокой корреляцией) между признаками обычная линейная регрессия может быть неустойчивой. L2-регуляризация может эффективно улучшить эту проблему и сделать решение более стабильным.
  • Геометрическая интерпретация: Геометрически её область ограничения — это 'круг' (окружность в двумерном пространстве). Оптимальная точка решения скорее коснётся 'края' этого круга, чем острого угла.

Пример кода:

Пример

from sklearn.linear_model import Ridge

# Создать модель L2-регуляризации (Ridge)
ridge_model = Ridge(alpha=1.0) # alpha — это λ
ridge_model.fit(X_train, y_train)

# Просмотр коэффициентов модели для наблюдения за затуханием весов
print("Коэффициенты модели Ridge:")
for i, coef in enumerate(ridge_model.coef_):
    print(f" Признак {i}: {coef:.4f}")

# Сравнение различий коэффициентов между Lasso и Ridge
print("\nСравнение коэффициентов (Lasso против Ridge):")
print("Признак | Коэффициент Lasso | Коэффициент Ridge")
print("-" * 35)
for i in range(len(lasso_model.coef_)):
    print(f"{i:4d} | {lasso_model.coef_[i]:11.4f} | {ridge_model.coef_[i]:11.4f}")

Сводка сравнения L1 и L2

Свойство L1-регуляризация (Lasso) L2-регуляризация (Ridge)
Штрафной член `Σ w_i
Характеристики решения Разреженное решение, многие веса равны 0 Плотное решение, веса близки к 0, но не равны нулю
Основная функция Отбор признаков Затухание весов, Устойчивое решение
Геометрическая форма Ромб / многогранник Круг / сфера
Вычисления Более сложная оптимизация (не всюду дифференцируема) Простая оптимизация (дифференцируема всюду)
Применимые сценарии Много признаков, и только немногие считаются релевантными Все признаки могут вносить вклад, или существует мультиколлинеарность

Elastic Net

Elastic Net — это компромисс между регуляризацией L1 и L2, содержащий штрафные члены обеих.Loss_ElasticNet = Loss + λ1 * Σ|w_i| + λ2 * Σ(w_i)²

Он сочетает способность L1 к отбору признаков со стабильностью L2, что делает его подходящим для случаев с очень высокой размерностью признаков и корреляциями между признаками.

Пример

from sklearn.linear_model import ElasticNet

elastic_model = ElasticNet(alpha=0.1, l1_ratio=0.5) # l1_ratio управляет пропорцией смешивания L1 и L2
elastic_model.fit(X_train, y_train)

Другие методы регуляризации

Помимо прямого изменения функции потерь, существуют также методы, которые достигают регуляризации путём изменения процесса обучения или структуры модели.

Dropout (для нейронных сетей)

Dropout — чрезвычайно эффективная техника регуляризации в нейронных сетях. Во времяпроцесса обученияон случайным образом заставляет часть нейронов в сети временно «отключаться» (устанавливать их выход в 0).

Как это работает:

  • В каждом обучающем батче, с вероятностьюp(например, 0.5), случайно отключает часть нейронов.
  • Прямое распространение и обратное распространение выполняются только в оставшихся нейронах.
  • Во время тестирования или предсказания используются все нейроны, но выход нейрона умножается на(1-p)чтобы ожидаемое значение оставалось согласованным.

Основная идея: предотвратить сложную совместную адаптацию между нейронами, заставляя сеть изучать болееустойчивыеираспределённыепредставления признаков. Это похоже на команду: она не может всегда полагаться на нескольких ключевых членов; каждый должен уметь работать самостоятельно, чтобы даже если кого-то нет, команда всё ещё могла нормально функционировать.

Пример кода (с использованием TensorFlow/Keras):

Пример

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout

model = Sequential([
    Dense(128, activation='relu', input_shape=(input_dim,)),
    Dropout(0.5), # Добавить слой Dropout после предыдущего слоя, коэффициент dropout 50%
    Dense(64, activation='relu'),
    Dropout(0.3), # коэффициент dropout 30%
    Dense(1, activation='sigmoid') # выходной слой
])

model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

Ранняя остановка

Ранняя остановка — простая и эффективная стратегия регуляризации. Она не изменяет функцию потерь, а вместо этогоотслеживает производительность модели на валидационном наборе.。

Шаги:

  • Разделите данные на обучающий и валидационный наборы.
  • Обучите модель на обучающем наборе и периодически оценивайте производительность на валидационном наборе (например, после каждой эпохи обучения).
  • Как только будет обнаружено, что производительность (например, потери) на валидационном наборе не улучшается в течение нескольких последовательных эпохили даже начала снижаться,немедленно остановите обучение.

Основная идея:Остановите обучение в момент непосредственно перед тем, как модель начнёт переобучаться на обучающих данных (т.е. когда ошибка на валидации начнёт расти), тем самым получив веса модели с наилучшей способностью к обобщению.

Пример

from tensorflow.keras.callbacks import EarlyStopping

# Определите функцию обратного вызова ранней остановки
# monitor: метрика для отслеживания, например, 'val_loss'
# patience: количество эпох ожидания; остановите обучение, если производительность на валидации не улучшается в течение этого количества эпох
# restore_best_weights: восстанавливать ли веса из эпохи с лучшим значением отслеживаемой метрики
early_stopping = EarlyStopping(
    monitor='val_loss',
    patience=10,
    restore_best_weights=True
)

# Использование в model.fit
history = model.fit(
    X_train, y_train,
    validation_data=(X_val, y_val),
    epochs=100,
    callbacks=[early_stopping] # Передайте список обратных вызовов
)

Практическое упражнение: комплексное сравнение эффектов регуляризации

Давайте используем полный пример, чтобы сравнить влияние различных методов регуляризации на задачу регрессии.

Пример

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression, Lasso, Ridge, ElasticNet
from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import make_pipeline
from sklearn.metrics import mean_squared_error

# 1. Сгенерировать нелинейные данные с шумом
np.random.seed(42)
X = np.linspace(-3, 3, 100).reshape(-1, 1)
y_true = 0.5 * X.ravel()**2 + X.ravel() # Истинная квадратичная зависимость
y = y_true + np.random.randn(100) * 0.8 # Добавить шум

# 2. Создать модели разной сложности (с использованием полиномиальных признаков)
degree = 10 # Использовать полином 10-й степени, который склонен к переобучению

models = {
    'Без регуляризации': make_pipeline(PolynomialFeatures(degree), LinearRegression()),
    'L1 (Lasso)': make_pipeline(PolynomialFeatures(degree), Lasso(alpha=0.01, max_iter=10000)),
    'L2 (Ridge)': make_pipeline(PolynomialFeatures(degree), Ridge(alpha=0.1)),
    'ElasticNet': make_pipeline(PolynomialFeatures(degree), ElasticNet(alpha=0.01, l1_ratio=0.5))
}

# 3. Обучение и предсказание
X_plot = np.linspace(-3.5, 3.5, 200).reshape(-1, 1)
plt.figure(figsize=(12, 8))
plt.scatter(X, y, s=20, alpha=0.6, label='Обучающие данные (с шумом)')
plt.plot(X, y_true, 'k-', linewidth=3, label='Истинная функция')

for name, model in models.items():
    model.fit(X, y)
    y_plot = model.predict(X_plot)
    mse = mean_squared_error(y, model.predict(X))
    plt.plot(X_plot, y_plot, '--', linewidth=2, label=f'{name} (MSE: {mse:.3f})')

plt.xlabel('X')
plt.ylabel('y')
plt.title('Сравнение различных методов регуляризации в подавлении переобучения (полином 10-й степени)')
plt.legend(loc='best')
plt.grid(True, alpha=0.3)
plt.show()

Практические задания:

  • Запустите приведённый выше код и посмотрите, как нерегуляризованная модель сильно колеблется, подстраиваясь под шум (переобучение), тогда как кривые регуляризованных моделей более гладкие и ближе к истинной функции.
  • Попробуйте изменитьdegree(степень полинома) иalphaпараметры (силы регуляризации) каждой модели, и понаблюдайте за их влиянием на результаты подгонки модели.
  • (Дополнительно) Разделите данные на обучающую и тестовую выборки, вычислите MSE каждой модели на тестовой выборке и проверьте улучшение обобщения за счёт регуляризации.

Итоги и инженерные рекомендации

Регуляризация — важный инструмент в арсенале инженера машинного обучения. Чтобы применять её эффективно, помните о следующих моментах:

  • Понимайте природу проблемы:Сначала используйте кривые обучения, качество на валидационной выборке и т. д., чтобы определить, сталкивается ли модель с проблемой переобучения (высокой дисперсии).
  • Начните с простого:Обычно можно сначала попробоватьL2-регуляризацию,потому что она стабильна и легко настраивается. Если размерность признаков чрезвычайно высока и требуется отбор признаков, то рассмотритеL1илиэластичную сеть.。
  • Настройка — ключ к успеху:Сила регуляризацииλ(илиalpha) — это критически важный гиперпараметр. Его необходимокросс-валидациейтщательно подбирать.
  • Используйте в комбинации:На практике методы регуляризации часто используются в сочетании. Например, при обучении глубоких нейронных сетейDropout + L2 weight decay + early stopping— это чрезвычайно распространённая комбинация.
  • Адаптация к предметной области:Для задач компьютерного зрения Dropout и Batch Normalization (которая также оказывает определённый регуляризующий эффект) очень эффективны. Для последовательностных моделей (таких как RNN, Transformer) обычно используются Dropout и weight decay.

Конечная цель регуляризации — направить модель от «зубрёжки» тренировочных данных к «глубокому пониманию» универсальных закономерностей, лежащих в основе данных, чтобы делать более надёжные прогнозы в реальном мире. Освойте её, и вы держите ключ к улучшению обобщающей способности модели.

Другие расширения