Умножение матриц для прямого распространения в нейронной сети

Напишите \(y = Wx + b\) вручную, подайте на вход матрицы разных форм и понаблюдайте, как изменяются и согласуются размерности.

После завершения этого примера вы поймёте:Когда при обучении нейронной сети возникает ошибка несоответствия формы, суть в том, что размерности умножения матриц не совпадают.


Введение из жизни

Центр сортировки экспресс-доставки

Партия посылок поступает с конвейера (вход), распределяется сортировочными машинами по разным грузовикам (скрытый слой) и в конечном итоге доставляется в различные жилые районы (выход).

Каждая сортировочная машина — это «нейрон»: она принимает все посылки и по правилам решает, какие посылки пойдут её путём. Правила сортировочной машины — это «веса»: в одном направлении распределяется больше посылок, а в другом — меньше.

Работа всего сортировочного центра такова:Умножение матриц + функция активации + смещение。


Интуитивное понимание

Один слой нейронной сети = три шага, выполненных в одной строке кода:

\( z = X @ W + b \)

У каждой части есть четкая роль:

X
Входные данные
(batch, in)
W
Матрица весов
(in, out)
b
Смещение
(out,)
z
Вывод
(batch, out)
Железное правило согласования размерностей:Число столбцов A должно быть равно числу строк B! \(A_{(m \times n)} \cdot B_{(n \times p)} = C_{(m \times p)}\)

Количество входных признаков (in_features) должно быть равно числу строк матрицы весов. Количество выходных признаков (out_features) равно числу столбцов матрицы весов. batch_size остается неизменным на протяжении всего процесса.


Математическое определение

Прямое распространение в однослойной сети

\[ z_j = \sum_{i=1}^{n} x_i \cdot W_{ij} + b_j \]

Каждый выход \(z_j\) — это скалярное произведение входного вектора и \(j\)-го столбца матрицы весов, плюс смещение.

Каскад двухслойной сети

\[ \begin{aligned} h &= \text{ReLU}(X W_1 + b_1) \quad & (m \times 4) \cdot (4 \times 6) &= (m \times 6) \\ o &= \text{Sigmoid}(h W_2 + b_2) \quad & (m \times 6) \cdot (6 \times 2) &= (m \times 2) \end{aligned} \]

Примечание: количество выходных признаков (6) первого слоя должно быть равно количеству строк (6) матрицы весов второго слоя. Это «размерностная связь между слоями».


Практическое занятие по Python

Используйте универсальную функцию dense_layer, чтобы продемонстрировать три сценария: один образец, пакетная обработка и двухслойная сеть.

Пример

import numpy as np

def dense_layer(X, W, b, activation=None):
    """
Прямое распространение одного полносвязного слоя
X: входная матрица (batch_size, in_features)
W: матрица весов (in_features, out_features)
b: вектор смещения (out_features,)
    """

    z = X @ W + b   # Умножение матриц + широковещательное сложение
    if activation == "relu":
        return np.maximum(0, z)          # ReLU: отрицательные значения становятся 0
    if activation == "sigmoid":
        return 1 / (1 + np.exp(-z))      # Sigmoid: сжимает до (0,1)
    return z

print("=" * 55)
print("ПРИМЕР Сценарий 1: один образец, 4 измерения -> 3 измерения")
print("=" * 55)
X = np.array([[1.0, 2.0, 0.5, -1.0]])     # (1, 4)
W = np.random.randn(4, 3) * 0.5            # (4, 3)
b = np.zeros(3)                            # (3,)
y = dense_layer(X, W, b, activation="relu")
print("X.shape:", X.shape, " W.shape:", W.shape,
      " -> y.shape:", y.shape)

print("\n" + "=" * 55)
print("ПРИМЕР Сценарий 2: пакет из 8 образцов, те же веса")
print("=" * 55)
X_batch = np.random.randn(8, 4)            # (8, 4)
y_batch = dense_layer(X_batch, W, b, activation="relu")
print("X_batch.shape:", X_batch.shape,
      " -> y_batch.shape:", y_batch.shape)
print("Размер батча 8 не изменён, размерность признаков 4 -> 3")

print("\n" + "=" * 55)
print("ПРИМЕР Сценарий 3: объединение в стек двухслойной сети")
print("=" * 55)
# Первый слой: 4 размерности -> 6 размерностей + ReLU
W1 = np.random.randn(4, 6) * 0.5
b1 = np.zeros(6)
# Второй слой: 6 размерностей -> 2 размерности + Sigmoid
W2 = np.random.randn(6, 2) * 0.5
b2 = np.zeros(2)

h = dense_layer(X_batch, W1, b1, activation="relu")
out = dense_layer(h, W2, b2, activation="sigmoid")

print(f"Входной слой: {X_batch.shape}")
print(f"Скрытый слой: {h.shape} (4->6, W1=(4,6))")
print(f"Выходной слой: {out.shape} (6->2, W2=(6,2))")

# Проверка: что произойдет, если размерности не совпадают?
print("\n" + "=" * 55)
print("ПРИМЕР Сценарий 4: несовпадение размерностей вызывает ошибку")
print("=" * 55)
try:
    W_wrong = np.random.randn(5, 3) * 0.5  # Количество строк неверно
    dense_layer(X_batch, W_wrong, b)
except ValueError as e:
    print("Причина ошибки: X_batch содержит 4 столбца,"
          "W_wrong имеет 5 строк -> нельзя перемножить")
    print(f" Правильный подход: количество строк W ({W_wrong.shape[0]})"
          f" должно быть равно количеству столбцов X ({X_batch.shape[1]})")
=======================================================
EXAMPLE 场景 1:单样本,4 维 -> 3 维
=======================================================
X.shape: (1, 4)   W.shape: (4, 3)   ->  y.shape: (1, 3)

=======================================================
EXAMPLE 场景 2:8 个样本批量,同权重
=======================================================
X_batch.shape: (8, 4)   ->  y_batch.shape: (8, 3)
批大小 8 不变,特征维度 4 -> 3

=======================================================
EXAMPLE 场景 3:堆叠两层网络
=======================================================
输入层: (8, 4)
隐藏层: (8, 6)  (4->6, W1=(4,6))
输出层: (8, 2)  (6->2, W2=(6,2))

=======================================================
EXAMPLE 场景 4:维度不匹配会报错
=======================================================
报错原因:X_batch 有 4 列,W_wrong 有 5 行 -> 无法相乘
  正确做法:W 的行数 (5) 应等于 X 的列数 (4)

Сценарии применения в ИИ

Сценарий ИИПример изменения размерностиОписание
Полносвязный слой(32, 784) @ (784, 128) = (32, 128)Классификация MNIST: 28x28=784 пикселя → 128-мерные признаки
QKV трансформера(B, L, D) @ (D, D) = (B, L, D)Самовнимание: размерности входных и выходных токенов остаются неизменными
Таблица поиска эмбеддингов(B, L) → (B, L, D)Последовательность ID слов → последовательность векторов слов
Классификационная головка(B, 768) @ (768, 10) = (B, 10)Выход классификации последнего слоя BERT
Другие расширения