Написание нейронной сети для бинарной классификации с нуля
Комплексно применяя умножение матриц, активацию ReLU/Sigmoid, кросс-энтропийную функцию потерь и обратное распространение — связывая все изученные темы сразу.
После завершения этого кейса вы поймёте:Полный математический цикл обучения нейронной сети — матричное преобразование данных, активация, вносящая нелинейность, кросс-энтропия, измеряющая качество, и обратное распространение, передающее градиенты.
Повседневное введение
Различение двух фруктов — одного размера недостаточно
Яблоки и апельсины смешаны вместе. Смотреть только на размер недостаточно — некоторые маленькие яблоки примерно того же размера, что и большие апельсины. Нужны два измерения (размер + цвет) и непрямая граница — вот тут и вступают в игру нейронные сети. Однослойная линейная модель может рисовать только прямые линии; добавление скрытых слоёв и нелинейных функций активации позволяет ей рисовать изогнутые границы.
Интуитивное понимание
Математические модули, соответствующие каждому компоненту:
Математическое определение
\[ z_1 = X W_1 + b_1,\ a_1 = \text{ReLU}(z_1),\quad z_2 = a_1 W_2 + b_2,\ a_2 = \sigma(z_2) \]Градиент для Sigmoid + кросс-энтропии автоматически упрощается до наиболее компактной формы: \(\frac{\partial L}{\partial z_2} = a_2 - y\)
Практическое занятие по Python
Пример
np.random.seed(42)
def sigmoid(z):
return 1 / (1 + np.exp(-np.clip(z, -500, 500)))
def relu(z): return np.maximum(0, z)
def relu_derivative(z): return (z > 0).astype(float)
class TwoLayerNN:
def __init__(self, n_input, n_hidden, lr=0.1):
self.W1 = np.random.randn(n_input, n_hidden) * 0.5
self.b1 = np.zeros(n_hidden)
self.W2 = np.random.randn(n_hidden, 1) * 0.5
self.b2 = np.zeros(1)
self.lr = lr
self.loss_history = []
def forward(self, X):
self.z1 = X @ self.W1 + self.b1
self.a1 = relu(self.z1)
self.z2 = self.a1 @ self.W2 + self.b2
self.a2 = sigmoid(self.z2)
return self.a2
def compute_loss(self, y_pred, y_true, eps=1e-9):
y_pred = np.clip(y_pred, eps, 1 - eps)
return -np.mean(y_true * np.log(y_pred) +
(1 - y_true) * np.log(1 - y_pred))
def backward(self, X, y_true):
n = X.shape[0]
y_true = y_true.reshape(-1, 1)
dz2 = (self.a2 - y_true) / n # Упрощение Sigmoid+CE
dW2 = self.a1.T @ dz2
db2 = np.sum(dz2, axis=0)
da1 = dz2 @ self.W2.T # Обратное распространение по правилу цепочки
dz1 = da1 * relu_derivative(self.z1)
dW1 = X.T @ dz1
db1 = np.sum(dz1, axis=0)
self.W2 -= self.lr * dW2
self.b2 -= self.lr * db2
self.W1 -= self.lr * dW1
self.b1 -= self.lr * db1
def fit(self, X, y, epochs=1000):
for epoch in range(epochs):
y_pred = self.forward(X)
loss = self.compute_loss(y_pred, y)
self.loss_history.append(loss)
self.backward(X, y)
if epoch % 200 == 0:
acc = np.mean((y_pred.flatten() > 0.5) == y)
print(f"ПРИМЕР эпоха {epoch:4d} потери={loss:.4f} точность={acc:.3f}")
def predict(self, X):
return (self.forward(X).flatten() > 0.5).astype(int)
# Данные в виде концентрических окружностей (нелинейно разделимые)
n = 300
theta = np.random.uniform(0, 2 * np.пи, n)
r_inner = np.random.normal(1.0, 0.15, n // 2)
r_outer = np.random.normal(2.5, 0.15, n // 2)
X = np.vstack([
np.c_[r_inner * np.cos(theta[:n//2]), r_inner * np.sin(theta[:n//2])],
np.c_[r_outer * np.cos(theta[n//2:]), r_outer * np.sin(theta[n//2:])],
])
y = np.array([0] * (n // 2) + [1] * (n // 2))
model = TwoLayerNN(n_input=2, n_hidden=8, lr=0.5)
model.fit(X, y, epochs=1000)
print(f"\nПРИМЕР Итоговая точность: {np.mean(model.predict(X) == y):.2%}")
print(f"Потери: {model.loss_history[0]:.4f} -> {model.loss_history[-1]:.4f}")
EXAMPLE epoch 0 loss=0.6932 acc=0.497 EXAMPLE epoch 200 loss=0.1494 acc=0.930 EXAMPLE epoch 400 loss=0.0615 acc=0.967 EXAMPLE epoch 600 loss=0.0272 acc=0.990 EXAMPLE epoch 800 loss=0.0134 acc=1.000 EXAMPLE epoch 1000 loss=0.0075 acc=1.000 EXAMPLE 最终准确率: 100.00% 损失: 0.6932 -> 0.0075
Сценарии применения в ИИ
| Сценарий | Связь с этим примером |
|---|---|
| Классификация изображений | CNN = в этом случае умножение матриц заменяется операцией свёртки. |
| Классификация текста | Тонкая настройка BERT = этот пример + энкодер Transformer |
| Обнаружение аномалий | Вывод вероятности аномалии от 0 до 1 — то есть частный случай бинарной классификации этого примера. |