Математическое ожидание, дисперсия и ковариация -- числовые характеристики данных

Математическое ожидание = где находится центр. Дисперсия = насколько велик разброс. Ковариация = как две переменные изменяются вместе.


Анализ концепции

Математическое ожидание E[X]

Взвешенное среднее = "средний результат в долгосрочной перспективе"

\( \mathbb{E}[X] = \sum x_i P(x_i) \)

Дисперсия Var(X)

Степень разброса данных

\( \mathbb{E}[(X - \mu)^2] \)

Ковариация Cov(X,Y)

Связь совместного изменения двух переменных

\( \mathbb{E}[(X-\mu_X)(Y-\mu_Y)] \)

Ковариационная матрица

Ковариационная матрица d-мерного случайного вектора — это симметричная матрица d×d: \( \Sigma_{ij} = \text{Cov}(X_i, X_j) \).

  • Диагональные элементы = дисперсии отдельных признаков
  • Внедиагональные элементы = ковариации между признаками

Примеры из реальной жизни

Средние баллы двух классов

И в классе A, и в классе B средний балл по математике равен 75. Но в классе A все получают от 70 до 80, а в классе B некоторые получают 30, а некоторые — 100.

Математические ожидания одинаковы, но дисперсии совершенно разные — дисперсия выявляет различия в «стабильности».


Практическое занятие по Python

Пример

import numpy as np

data = np.random.normal(5, 2, 10000)
print(f"Mean={np.mean(data):.3f}, Variance={np.var(data):.3f}, Std={np.std(data):.3f}")

# Ковариация
x = np.random.randn(1000)
y1 = 0.8*x + np.random.randn(1000)*0.3  # Положительная корреляция
y2 = -0.8*x + np.random.randn(1000)*0.3 # Отрицательная корреляция
print(f"Cov(X, Y+): {np.cov(x,y1)[0,1]:.3f} (положительная)")
print(f"Cov(X, Y-): {np.cov(x,y2)[0,1]:.3f} (отрицательная)")

# Матрица ковариации
data_3d = np.random.randn(100, 3)
print("\nМатрица ковариации:\n", np.round(np.cov(data_3d.T), 3))
print("Симметричная:", np.allclose(np.cov(data_3d.T), np.cov(data_3d.T).T))

Вывод:

均值=4.990, 方差=4.008, 标准差=2.002
Cov(X, Y+): 0.846 (正)
Cov(X, Y-): -0.860 (负)

协方差矩阵:
 [[ 1.03   0.035  0.033]
 [ 0.035  0.89  -0.066]
 [ 0.033 -0.066  0.933]]
对称: True

Сценарии применения в ИИ

Математика пакетной нормализации

Для каждого мини-батча вычислите среднее μ_B и дисперсию σ²_B, затем нормализуйте \( \hat{x} = (x - \mu_B) / \sqrt{\sigma^2_B + \epsilon} \). Здесь используются две статистики: математическое ожидание (среднее) и дисперсия. \( \epsilon \) — небольшая константа, предотвращающая деление на ноль (обычно 1e-5).

Снижение размерности PCA = собственное разложение матрицы ковариации

Первый шаг PCA: вычислите ковариационную матрицу \( \Sigma \) (симметричную матрицу d×d) данных. Второй шаг: выполните собственное разложение \( \Sigma \) и возьмите собственные векторы, соответствующие k наибольшим собственным значениям, в качестве направлений главных компонент. Дисперсия вдоль этих направлений максимизируется → сохраняется максимум информации.

Контроль дисперсии при инициализации весов

Инициализация Kaiming: \( Var(W) = 2/n_{in} \) (для сетей с ReLU) или Xavier: \( Var(W) = 2/(n_{in}+n_{out}) \) (для сетей с tanh). Точно контролируйте дисперсию выхода каждого слоя так, чтобы дисперсия активаций оставалась неизменной при прямом распространении, а дисперсия градиентов оставалась неизменной при обратном распространении. Неправильная инициализация может вызвать затухание/взрыв градиентов даже на ранней стадии обучения.

Оценка второго момента в оптимизаторе Adam

Adam поддерживает экспоненциальное скользящее среднее квадратов градиентов \( v_t = \beta_2 v_{t-1} + (1-\beta_2)g_t^2 \). По сути, это онлайн-оценка «дисперсии градиента в направлении каждого параметра». Направлениям с большой дисперсией (сильными колебаниями) задаётся меньшая скорость обучения, а направлениям с малой дисперсией (стабильным спуском) — большая скорость обучения.


Другие расширения