Умножение матриц для прямого распространения в нейронной сети
Напишите \(y = Wx + b\) вручную, подайте на вход матрицы разных форм и понаблюдайте, как изменяются и согласуются размерности.
После завершения этого примера вы поймёте:Когда при обучении нейронной сети возникает ошибка несоответствия формы, суть в том, что размерности умножения матриц не совпадают.
Введение из жизни
Центр сортировки экспресс-доставки
Партия посылок поступает с конвейера (вход), распределяется сортировочными машинами по разным грузовикам (скрытый слой) и в конечном итоге доставляется в различные жилые районы (выход).
Каждая сортировочная машина — это «нейрон»: она принимает все посылки и по правилам решает, какие посылки пойдут её путём. Правила сортировочной машины — это «веса»: в одном направлении распределяется больше посылок, а в другом — меньше.
Работа всего сортировочного центра такова:Умножение матриц + функция активации + смещение。
Интуитивное понимание
Один слой нейронной сети = три шага, выполненных в одной строке кода:
\( z = X @ W + b \)
У каждой части есть четкая роль:
(batch, in)
(in, out)
(out,)
(batch, out)
Количество входных признаков (in_features) должно быть равно числу строк матрицы весов. Количество выходных признаков (out_features) равно числу столбцов матрицы весов. batch_size остается неизменным на протяжении всего процесса.
Математическое определение
Прямое распространение в однослойной сети
\[ z_j = \sum_{i=1}^{n} x_i \cdot W_{ij} + b_j \]Каждый выход \(z_j\) — это скалярное произведение входного вектора и \(j\)-го столбца матрицы весов, плюс смещение.
Каскад двухслойной сети
\[ \begin{aligned} h &= \text{ReLU}(X W_1 + b_1) \quad & (m \times 4) \cdot (4 \times 6) &= (m \times 6) \\ o &= \text{Sigmoid}(h W_2 + b_2) \quad & (m \times 6) \cdot (6 \times 2) &= (m \times 2) \end{aligned} \]Примечание: количество выходных признаков (6) первого слоя должно быть равно количеству строк (6) матрицы весов второго слоя. Это «размерностная связь между слоями».
Практическое занятие по Python
Используйте универсальную функцию dense_layer, чтобы продемонстрировать три сценария: один образец, пакетная обработка и двухслойная сеть.
Пример
def dense_layer(X, W, b, activation=None):
"""
Прямое распространение одного полносвязного слоя
X: входная матрица (batch_size, in_features)
W: матрица весов (in_features, out_features)
b: вектор смещения (out_features,)
"""
z = X @ W + b # Умножение матриц + широковещательное сложение
if activation == "relu":
return np.maximum(0, z) # ReLU: отрицательные значения становятся 0
if activation == "sigmoid":
return 1 / (1 + np.exp(-z)) # Sigmoid: сжимает до (0,1)
return z
print("=" * 55)
print("ПРИМЕР Сценарий 1: один образец, 4 измерения -> 3 измерения")
print("=" * 55)
X = np.array([[1.0, 2.0, 0.5, -1.0]]) # (1, 4)
W = np.random.randn(4, 3) * 0.5 # (4, 3)
b = np.zeros(3) # (3,)
y = dense_layer(X, W, b, activation="relu")
print("X.shape:", X.shape, " W.shape:", W.shape,
" -> y.shape:", y.shape)
print("\n" + "=" * 55)
print("ПРИМЕР Сценарий 2: пакет из 8 образцов, те же веса")
print("=" * 55)
X_batch = np.random.randn(8, 4) # (8, 4)
y_batch = dense_layer(X_batch, W, b, activation="relu")
print("X_batch.shape:", X_batch.shape,
" -> y_batch.shape:", y_batch.shape)
print("Размер батча 8 не изменён, размерность признаков 4 -> 3")
print("\n" + "=" * 55)
print("ПРИМЕР Сценарий 3: объединение в стек двухслойной сети")
print("=" * 55)
# Первый слой: 4 размерности -> 6 размерностей + ReLU
W1 = np.random.randn(4, 6) * 0.5
b1 = np.zeros(6)
# Второй слой: 6 размерностей -> 2 размерности + Sigmoid
W2 = np.random.randn(6, 2) * 0.5
b2 = np.zeros(2)
h = dense_layer(X_batch, W1, b1, activation="relu")
out = dense_layer(h, W2, b2, activation="sigmoid")
print(f"Входной слой: {X_batch.shape}")
print(f"Скрытый слой: {h.shape} (4->6, W1=(4,6))")
print(f"Выходной слой: {out.shape} (6->2, W2=(6,2))")
# Проверка: что произойдет, если размерности не совпадают?
print("\n" + "=" * 55)
print("ПРИМЕР Сценарий 4: несовпадение размерностей вызывает ошибку")
print("=" * 55)
try:
W_wrong = np.random.randn(5, 3) * 0.5 # Количество строк неверно
dense_layer(X_batch, W_wrong, b)
except ValueError as e:
print("Причина ошибки: X_batch содержит 4 столбца,"
"W_wrong имеет 5 строк -> нельзя перемножить")
print(f" Правильный подход: количество строк W ({W_wrong.shape[0]})"
f" должно быть равно количеству столбцов X ({X_batch.shape[1]})")
======================================================= EXAMPLE 场景 1:单样本,4 维 -> 3 维 ======================================================= X.shape: (1, 4) W.shape: (4, 3) -> y.shape: (1, 3) ======================================================= EXAMPLE 场景 2:8 个样本批量,同权重 ======================================================= X_batch.shape: (8, 4) -> y_batch.shape: (8, 3) 批大小 8 不变,特征维度 4 -> 3 ======================================================= EXAMPLE 场景 3:堆叠两层网络 ======================================================= 输入层: (8, 4) 隐藏层: (8, 6) (4->6, W1=(4,6)) 输出层: (8, 2) (6->2, W2=(6,2)) ======================================================= EXAMPLE 场景 4:维度不匹配会报错 ======================================================= 报错原因:X_batch 有 4 列,W_wrong 有 5 行 -> 无法相乘 正确做法:W 的行数 (5) 应等于 X 的列数 (4)
Сценарии применения в ИИ
| Сценарий ИИ | Пример изменения размерности | Описание |
|---|---|---|
| Полносвязный слой | (32, 784) @ (784, 128) = (32, 128) | Классификация MNIST: 28x28=784 пикселя → 128-мерные признаки |
| QKV трансформера | (B, L, D) @ (D, D) = (B, L, D) | Самовнимание: размерности входных и выходных токенов остаются неизменными |
| Таблица поиска эмбеддингов | (B, L) → (B, L, D) | Последовательность ID слов → последовательность векторов слов |
| Классификационная головка | (B, 768) @ (768, 10) = (B, 10) | Выход классификации последнего слоя BERT |