Визуализация центральной предельной теоремы

Многократно выбирайте выборки из равномерного распределения, которое совершенно не является нормальным, каждый раз вычисляйте среднее и наблюдайте, как распределение средних приближается к колоколообразной форме.

После завершения этого кейса вы поймёте:Почему гауссово распределение вездесуще в ИИ — это неизбежный результат суперпозиции множества независимых факторов.


Введение из жизни

Почему средний рост в классе всегда имеет колоколообразную форму?

Измерьте рост 50 человек в классе. На рост отдельного человека влияют сотни факторов: генетика, питание, физические упражнения, сон... Каждый фактор оказывает большое или малое влияние, положительное или отрицательное.

Когда множество независимых малых факторов складывается вместе, итоговое распределение становится колоколообразным — это математическая теорема, а не совпадение.Центральная предельная теорема утверждает: сумма (или среднее) большого числа независимых случайных величин стремится к нормальному распределению.


Интуитивное понимание

Мы берём выборки из равномерного распределения U(0,1) — это распределение совершенно плоское и не имеет ничего общего с колоколообразной формой. Но когда мы каждый раз берём несколько выборок (например, 30), чтобы вычислить одно среднее, и повторяем эту операцию 5,000 раз — гистограмма этих 5,000 средних начинает выглядеть колоколообразной. Чем больше n, тем ближе она к идеальному нормальному распределению.


Математическое определение

\[ \frac{\bar{X}_n - \mu}{\sigma / \sqrt{n}} \xrightarrow{d} \mathcal{N}(0, 1) \]

Где \(\bar{X}_n = \frac{1}{n}\sum X_i\). Стандартное отклонение среднего уменьшается со скоростью \(1/\sqrt{n}\).


Практическое занятие по Python

Пример

import numpy as np
np.random.seed(2)

def sample_raw(size):
    return np.random.uniform(0, 1, size=size)

def clt_experiment(n, repeat=5000):
    means = [sample_raw(n).mean() for _ in range(repeat)]
    return np.array(means)

sample_sizes = [1, 2, 5, 30]
results = {n: clt_experiment(n) for n in sample_sizes}

print("ПРИМЕР Проверка центральной предельной теоремы:\n")
print("Исходное распределение: равномерное U(0,1) (полностью плоское)")
print("Теория: стандартное отклонение среднего = 1/sqrt(12n)\n")
print(f"{'n':<6} {'СКО среднего':<12} {'Теория':<12} {'Совпадение'}")
print("-" * 42)
for n, means in results.items():
    theo = 1 / np.sqrt(12 * n)
    ok = "Да" if abs(means.std() - theo) < 0.01 else "Нет"
    print(f"{n:<6} {means.std():<12.4f} {theo:<12.4f} {ok}")

# Проверка нормальности для n=30
m30 = results[30]
skew = np.mean(((m30-m30.mean())/m30.std())**3)
kurt = np.mean(((m30-m30.mean())/m30.std())**4) - 3
print(f"\nПРИМЕР n=30: асимметрия={skew:.3f} (должно быть ~0), избыточный эксцесс={kurt:.3f} (должно быть ~0)")
EXAMPLE 中心极限定理验证:

原始分布: 均匀分布 U(0,1)(完全平的)
理论: 均值的标准差 = 1/sqrt(12n)

n      均值SD       理论值       匹配
------------------------------------------
1      0.2891       0.2887       Yes
2      0.2043       0.2041       Yes
5      0.1292       0.1291       Yes
30     0.0526       0.0527       Yes

EXAMPLE n=30 时:偏度=-0.023 (应~0), 超峰度=-0.005 (应~0)

Сценарии применения в ИИ

СценарийСвязь с ЦПТ
Пакетная нормализацияПредположим, что значения активации в каждом мини-пакете приблизительно нормально распределены, затем вычтите среднее и разделите на стандартное отклонение.
Инициализация весовИнициализация Xavier/He выбирает начальные веса из нормального распределения
Моделирование ошибокВ задачах регрессии предполагается, что ошибки подчиняются нормальному распределению — ошибки являются результатом суперпозиции множества неучтённых факторов.
Другие расширения