連続確率変数とよくある分布
連続確率変数は実数軸上の任意の値を取ることができます。正規(ガウス)分布はAIにおいて最も重要な分布であり、他に並ぶものはありません。
概念解析 → 概念の解説
PDF:確率密度関数
PDFは確率そのものではなく、面積が確率です。ある点のPDF値 f(x) 自体には意味がありません——連続変数が特定の値に正確に等しい確率は0だからです。しかし、PDFの区間上の積分 = Xがその区間に含まれる確率となります。
正規分布 N(μ, σ²)
\[ f(x) = \frac{1}{\sigma\sqrt{2\pi}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) \]平均 μ(位置)と標準偏差 σ(幅)によって決まります。約68%のデータが μ±σ に、約95%が μ±2σ に含まれます。
中心極限定理
多数の独立した要因が重なり合うと → 結果は正規分布に近づきます。これは正規分布が自然界やAIにおいて遍にする理由を説明しています。
ニューラルネットワークの重み初期化、Batch Normalization、VAEの潜に空間、拡散モデルのノイズ付加・除去——これらはすべて正規分布に依存しています。
生活例子 → 身近な例
人間の身長:170.1、170.12、170.128 cm——身長は連続のな範囲内の任意の値を取ることができ、全体として正規分布に従います。
ほとんどの人の身長は平均値に近く、極端に高い人や低い人は少数です——これがベル型曲線です。
Python 动手实践 → Python で実際に試す
実例
samples = np.random.normal(0, 1, 10000)
print(f"N(0,1) 采样: 均值={samples.mean():.3f}, 标准差={samples.std():.3f}" → "N(0,1) サンプリング: 平均={samples.mean():.3f}, 標準偏差={samples.std():.3f}")
# 68-95-99.7 法则 → # 68-95-99.7 則(経験則)
for k in [1, 2, 3]:
within = np.mean(np.abs(samples) < k)
theory = {1:0.6827, 2:0.9545, 3:0.9973}[k]
print(f"μ±{k}σ: {within:.4f} (理论 {theory:.4f})" → "μ±{k}σ: {within:.4f} (理論値 {theory:.4f})")
# 中心極限定理:12個のサイコロのと ≈ 正規分布 → # 中心極限定理:12個のサイコロのと ≈ 正規分布
dice = np.random.randint(1,7,(100000,12)).sum(axis=1)
print(f"\n12個のサイコロのと: 平均={dice.mean():.1f}(理論値42), 正規分布に近い")
実行結果:
N(0,1) 采样: 均值=-0.002, 标准差=1.001 μ±1σ: 0.6827 (理论 0.6827) μ±2σ: 0.9545 (理论 0.9545) μ±3σ: 0.9973 (理论 0.9973) 12个骰子和: 均值=42.0(理论42), 接近正态
正态分布直方图 → 正規分布のヒストグラム
AI における応用シーン
权重初始化 → 重みの初期化
神经网络の权重通常から正态分布或均匀分布中随机初始化。Kaiming 初始化(ReLU 网络用):\( W \sim N(0, \sqrt{2/n_{in}}) \);Xavier 初始化:\( W \sim U(-\sqrt{6/(n_{in}+n_{out})}, \sqrt{6/(n_{in}+n_{out})}) \)。精心选择の方差确保信号に前向と反向传播中稳定传递,不爆炸不消失。 → ニューラルネットワークの重みは通常、正規分布または一様分布からランダムに初期化されます。Kaiming初期化(ReLUネットワーク用):\( W \sim N(0, \sqrt{2/n_{in}}) \);Xavier初期化:\( W \sim U(-\sqrt{6/(n_{in}+n_{out})}, \sqrt{6/(n_{in}+n_{out})}) \)。慎重に選ばれた分散により、信号が順伝播および逆伝播で安定して伝わり、発散も消失もしません。
Batch Normalization
BNは各層の活性化値が近似のに正規分布に従うと仮定し、平均を引き標準偏差で割ることで N(0,1) に標準化し、さらに学習可能な \(\gamma\) と \(\beta\) でスケール・シフトします。これにより学習が加速し、より大きな学習率が可能になり、初期化への感度が低減します。BNはディープラーニング史上最も重要な学習テクニックの一つです。
VAE の潜に空間の仮定
变分自编码器假设潜に变量 z 服から标准正态分布 N(0, I)。编码器输出 μ と log(σ²),解码器から N(μ, σ²) 中采样 z 重构输入。KL 散度损失约束 N(μ, σ²) 接近先验 N(0, I),防止编码器坍缩到 Dirac 分布。 → 変分オートエンコーダーは潜に変数 z が標準正規分布 N(0, I) に従うと仮定します。エンコーダーは μ と log(σ²) を出力し、デコーダーは N(μ, σ²) から z をサンプリングして入力を再構成します。KLダイバージェンス損失は N(μ, σ²) を事前分布 N(0, I) に近づけるように制約し、エンコーダーがディラック分布に潰れるのを防ぎます。
拡散モデルのノイズ付加とノイズ除去
扩散模型(DDPM)の前向过程逐步向数据加高斯噪声 \epsilon ∼ N(0, I),直到变ために纯噪声。反向过程训练神经网络预测每步添加の噪声,から纯噪声开始逐步去噪生成图片。Stable Diffusion と DALL·E 都基于此原理。 → 拡散モデル(DDPM)の前向き過程では、データに段階のにガウスノイズ \epsilon ∼ N(0, I) を加え、完全なノイズになるまで続けます。逆向き過程では、各ステップで追加されたノイズを予測するようにニューラルネットワークを学習させ、純粋なノイズから始めて段階のにノイズを除去しながら画像を生成します。Stable Diffusion や DALL·E はすべてこの原理に基づいています。
其他扩展 → その他の関連項目