Непрерывные случайные величины и распространённые распределения
Непрерывная случайная величина может принимать любое значение на числовой прямой.Нормальное (гауссово) распределение — самое важное распределение в ИИ, вне конкуренции.
Объяснение концепции
PDF: функция плотности вероятности
PDF не является вероятностью как таковой; вероятностью является площадь.Значение PDF f(x) в конкретной точке само по себе не имеет смысла — вероятность того, что непрерывная переменная равна конкретному значению, равна 0. Но интеграл PDF по интервалу = вероятность того, что X попадает в этот интервал.
Нормальное распределение N(μ, σ²)
\[ f(x) = \frac{1}{\sigma\sqrt{2\pi}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) \]Определяется средним μ (положение) и стандартным отклонением σ (ширина). Около 68% данных попадает в интервал μ±σ, и около 95% — в μ±2σ.
Центральная предельная теорема
Суперпозиция множества независимых факторов → результат приближается к нормальному распределению. Это объясняет, почему нормальное распределение встречается повсюду в природе и в ИИ.
Инициализация весов нейронной сети, Batch Normalization, латентное пространство VAE, а также зашумление/шумоподавление в диффузионных моделях — всё это опирается на нормальное распределение.
Примеры из реальной жизни
Рост человека: 170.1, 170.12, 170.128 cm — рост может принимать любое значение в непрерывном диапазоне и в целом подчиняется нормальному распределению.
У большинства людей рост близок к среднему; очень высокие и очень низкие люди — меньшинство — это колоколообразная кривая.
Практическое занятие по Python
Пример
samples = np.random.normal(0, 1, 10000)
print(f"Выборка из N(0,1): среднее={samples.mean():.3f}, стандартное отклонение={samples.std():.3f}")
# правило 68-95-99.7
for k in [1, 2, 3]:
within = np.mean(np.abs(samples) < k)
theory = {1:0.6827, 2:0.9545, 3:0.9973}[k]
print(f"μ±{k}σ: {within:.4f} (теоретическое {theory:.4f})")
# Центральная предельная теорема: сумма 12 кубиков ≈ нормальное распределение
dice = np.random.randint(1,7,(100000,12)).sum(axis=1)
print(f"\nСумма 12 кубиков: среднее={dice.mean():.1f} (теоретическое 42), близко к нормальному)
Вывод при запуске:
N(0,1) 采样: 均值=-0.002, 标准差=1.001 μ±1σ: 0.6827 (理论 0.6827) μ±2σ: 0.9545 (理论 0.9545) μ±3σ: 0.9973 (理论 0.9973) 12个骰子和: 均值=42.0(理论42), 接近正态
Гистограмма нормального распределения
Сценарии применения в ИИ
Инициализация весов
Веса нейронных сетей обычно инициализируются случайно из нормального распределения или равномерного распределения. Инициализация Kaiming (для сетей с ReLU): \( W \sim N(0, \sqrt{2/n_{in}}) \); инициализация Xavier: \( W \sim U(-\sqrt{6/(n_{in}+n_{out})}, \sqrt{6/(n_{in}+n_{out})}) \). Тщательно подобранная дисперсия гарантирует, что сигналы распространяются стабильно при прямом и обратном прохождении, не взрываясь и не затухая.
Пакетная нормализация
BN предполагает, что активации каждого слоя приблизительно соответствуют нормальному распределению. Он вычитает среднее и делит на стандартное отклонение, чтобы стандартизировать их к N(0,1), затем масштабирует и сдвигает с помощью обучаемых \(\gamma\) и \(\beta\). Это ускоряет обучение, позволяет использовать большие скорости обучения и снижает чувствительность к инициализации. BN — одна из важнейших техник обучения в истории глубокого обучения.
Допущение о латентном пространстве VAE
Вариационный автоэнкодер предполагает, что латентная переменная z имеет стандартное нормальное распределение N(0, I). Кодировщик выдаёт μ и log(σ²), а декодер выбирает z из N(μ, σ²) для восстановления входных данных. Потеря на основе KL-дивергенции ограничивает N(μ, σ²) близким к априорному N(0, I), не позволяя кодировщику коллапсировать в распределение Дирака.
Зашумление и денойзинг в диффузионных моделях
Прямой процесс диффузионных моделей (DDPM) постепенно добавляет гауссов шум \epsilon ∼ N(0, I) к данным, пока они не станут чистым шумом. Обратный процесс обучает нейронную сеть предсказывать шум, добавленный на каждом шаге, и постепенно выполняет денойзинг из чистого шума для генерации изображений. Stable Diffusion и DALL·E основаны на этом принципе.
Другие расширения