Визуализация центральной предельной теоремы
Многократно выбирайте выборки из равномерного распределения, которое совершенно не является нормальным, каждый раз вычисляйте среднее и наблюдайте, как распределение средних приближается к колоколообразной форме.
После завершения этого кейса вы поймёте:Почему гауссово распределение вездесуще в ИИ — это неизбежный результат суперпозиции множества независимых факторов.
Введение из жизни
Почему средний рост в классе всегда имеет колоколообразную форму?
Измерьте рост 50 человек в классе. На рост отдельного человека влияют сотни факторов: генетика, питание, физические упражнения, сон... Каждый фактор оказывает большое или малое влияние, положительное или отрицательное.
Когда множество независимых малых факторов складывается вместе, итоговое распределение становится колоколообразным — это математическая теорема, а не совпадение.Центральная предельная теорема утверждает: сумма (или среднее) большого числа независимых случайных величин стремится к нормальному распределению.
Интуитивное понимание
Мы берём выборки из равномерного распределения U(0,1) — это распределение совершенно плоское и не имеет ничего общего с колоколообразной формой. Но когда мы каждый раз берём несколько выборок (например, 30), чтобы вычислить одно среднее, и повторяем эту операцию 5,000 раз — гистограмма этих 5,000 средних начинает выглядеть колоколообразной. Чем больше n, тем ближе она к идеальному нормальному распределению.
Математическое определение
\[ \frac{\bar{X}_n - \mu}{\sigma / \sqrt{n}} \xrightarrow{d} \mathcal{N}(0, 1) \]Где \(\bar{X}_n = \frac{1}{n}\sum X_i\). Стандартное отклонение среднего уменьшается со скоростью \(1/\sqrt{n}\).
Практическое занятие по Python
Пример
np.random.seed(2)
def sample_raw(size):
return np.random.uniform(0, 1, size=size)
def clt_experiment(n, repeat=5000):
means = [sample_raw(n).mean() for _ in range(repeat)]
return np.array(means)
sample_sizes = [1, 2, 5, 30]
results = {n: clt_experiment(n) for n in sample_sizes}
print("ПРИМЕР Проверка центральной предельной теоремы:\n")
print("Исходное распределение: равномерное U(0,1) (полностью плоское)")
print("Теория: стандартное отклонение среднего = 1/sqrt(12n)\n")
print(f"{'n':<6} {'СКО среднего':<12} {'Теория':<12} {'Совпадение'}")
print("-" * 42)
for n, means in results.items():
theo = 1 / np.sqrt(12 * n)
ok = "Да" if abs(means.std() - theo) < 0.01 else "Нет"
print(f"{n:<6} {means.std():<12.4f} {theo:<12.4f} {ok}")
# Проверка нормальности для n=30
m30 = results[30]
skew = np.mean(((m30-m30.mean())/m30.std())**3)
kurt = np.mean(((m30-m30.mean())/m30.std())**4) - 3
print(f"\nПРИМЕР n=30: асимметрия={skew:.3f} (должно быть ~0), избыточный эксцесс={kurt:.3f} (должно быть ~0)")
EXAMPLE 中心极限定理验证: 原始分布: 均匀分布 U(0,1)(完全平的) 理论: 均值的标准差 = 1/sqrt(12n) n 均值SD 理论值 匹配 ------------------------------------------ 1 0.2891 0.2887 Yes 2 0.2043 0.2041 Yes 5 0.1292 0.1291 Yes 30 0.0526 0.0527 Yes EXAMPLE n=30 时:偏度=-0.023 (应~0), 超峰度=-0.005 (应~0)
Сценарии применения в ИИ
| Сценарий | Связь с ЦПТ |
|---|---|
| Пакетная нормализация | Предположим, что значения активации в каждом мини-пакете приблизительно нормально распределены, затем вычтите среднее и разделите на стандартное отклонение. |
| Инициализация весов | Инициализация Xavier/He выбирает начальные веса из нормального распределения |
| Моделирование ошибок | В задачах регрессии предполагается, что ошибки подчиняются нормальному распределению — ошибки являются результатом суперпозиции множества неучтённых факторов. |