Изображения — это матрицы

Изображение в градациях серого — это по сути двумерный массив NumPy. Когда вы транспонируете, переворачиваете, обрезаете матрицу или применяете к ней свёртку, изображение соответствующим образом меняется.

После завершения этого кейса вы поймёте:Основа обработки изображений — линейная алгебра; матрица — это просто таблица чисел.


Повседневное введение

Пиксельная сетка фотографии

Увеличьте фотографию на телефоне и увеличьте ещё раз — пока не увидите крошечные квадраты. У каждого квадрата есть только одно значение цвета: 0 означает чистый чёрный, 255 — чистый белый, а числа между ними — разные оттенки серого.

Вся фотография — это прямоугольный массив этих крошечных квадратов — математики называют его "матрицей」。


Интуитивное понимание

Матрица — это не загадочное понятие, а просто таблица, заполненная числами.

Например, в приведённой ниже матрице \(3 \times 3\) каждое число представляет яркость пикселя (0 — самый тёмный, 1 — самый яркий):

Изображение в градациях серого 3x3 Одна матрица, 9 чисел
\[ M = \begin{bmatrix} 0.0 & 0.5 & 1.0 \\ 0.3 & 0.7 & 0.6 \\ 0.8 & 0.2 & 0.4 \end{bmatrix} \]

С этим пониманием различные операции обработки изображений становятся понятными:

Транспонирование
img.T
Отразить по диагонали
Горизонтальное отражение
img[:, ::-1]
Отразить слева направо
Вертикальное отражение
img[::-1, :]
Отразить сверху вниз
Обрезка
img[10:54, 10:54]
Извлечь подобласть
Размытие
Скользящее среднее с ядром свёртки
Усреднение по окрестности
Поворот
Преобразование координат
Умножение матриц

Когда вы нажимаете кнопку в Photoshop, за кулисами NumPy работает с двумерным массивом.


Математическое определение

Изображение в градациях серого \(H \times W\) можно представить в виде вещественной матрицы:

\[ M \in \mathbb{R}^{H \times W}, \quad M_{ij} \in [0, 1] \]

где \(M_{ij}\) представляет значение яркости пикселя в \(i\)-й строке и \(j\)-м столбце.

Основные понятия операций над матрицами:

ДействиеМатематическое выражениеСинтаксис NumPyЭффект изображения
Транспонирование\(M^T_{ij} = M_{ji}\)img.TПоменять строки и столбцы местами, отразить по диагонали
Горизонтальное отражение\(M'_{ij} = M_{i, W-1-j}\)img[:, ::-1]Обратный порядок индексов столбцов
Вертикальное отражение\(M'_{ij} = M_{H-1-i, j}\)img[::-1, :]Обратный порядок индексов строк
Усредняющее размытие\(M'_{ij} = \frac{1}{k^2}\sum_{p,q} M_{i+p, j+q}\)Скользящее окно для вычисления mean()Заменить каждый пиксель средним значением по окрестности

Операция "скользящего окна", используемая при усредняющем размытии, по сути, представляет собойсвёрткуеё прототип — основную операцию свёрточных нейронных сетей (CNN).


Практическое занятие по Python

Сгенерировать синтетическое полутоновое изображение и использовать операции с массивами NumPy для реализации транспонирования, отражения, обрезки и написанного вручную свёрточного размытия.

Пример

import numpy as np
import matplotlib
matplotlib.use("Agg")
import matplotlib.pyplot as plt
import os

# Создать выходной каталог
OUT = os.path.join(os.path.dirname(os.path.abspath(__file__)), "outputs")
os.makedirs(OUT, exist_ok=True)

# 1. Сгенерировать синтетическое полутоновое изображение: диагональный градиент + яркий квадрат в середине
size = 64
img = np.zeros((size, size))
for i in range(size):
    for j in range(size):
        img[i, j] = (i + j) / (2 * size)  # Диагональный градиент от тёмного к яркому
img[20:44, 20:44] += 0.6                  # Добавить яркий квадрат посередине
img = np.clip(img, 0, 1)                  # Ограничить диапазоном [0, 1]

print("ПРИМЕР формы матрицы изображения:, img.shape)
print("Первая часть 3x3 матрицы изображения:\n", np.round(img[:3, :3], 3))

# 2. Матричные операции = преобразования изображения
img_transpose = img.T           # Транспонирование: поменять местами строки и столбцы
img_flip_lr = img[:, ::-1]      # Горизонтальное зеркало: обратный порядок индексов столбцов
img_flip_ud = img[::-1, :]      # Вертикальное зеркало: обратный порядок индексов строк
img_crop = img[10:54, 10:54]    # Обрезка: срез для получения подматрицы

# 3. Написанное вручную размытие по среднему (ядро свёртки 5x5, без OpenCV)
def box_blur(mat, k=5):
    """Применить размытие по среднему к матрице, используя скользящее окно k x k"""
    pad = k // 2
    # Дополнить границу краевыми значениями (краевое дополнение)
    padded = np.pad(mat, pad, mode="edge")
    out = np.zeros_like(mat)
    for i in range(mat.shape[0]):
        for j in range(mat.shape[1]):
            # Возьмите окрестность k x k и вычислите среднее значение
            out[i, j] = padded[i:i+k, j:j+k].mean()
    return out

img_blur = box_blur(img, k=5)
print("ПРИМЕР: первая часть 3x3 размытой матрицы:\n",
      np.round(img_blur[:3, :3], 3))

# 4. Сохранить рисунок для визуального сравнения
fig, axes = plt.subplots(2, 3, figsize=(12, 8))
titles = ["Исходное изображение (матрица)", "Транспонирование img.T",
          "Горизонтальное отражение img[:, ::-1]",
          "Вертикальное отражение img[::-1, :]",
          "Обрезка img[10:54, 10:54]",
          "Усредняющее размытие (свёртка 5x5)"]
images = [img, img_transpose, img_flip_lr,
          img_flip_ud, img_crop, img_blur]

for ax, title, im in zip(axes.flat, titles, images):
    ax.imshow(im, cmap="gray", vmin=0, vmax=1)
    ax.set_title(title, fontsize=11)
    ax.axis("off")

plt.tight_layout()
plt.savefig(os.path.join(OUT, "01_image_as_matrix.png"), dpi=130)
print(f"\nПРИМЕР: результат визуализации сохранён в {OUT}/01_image_as_matrix.png")
EXAMPLE 图像矩阵形状 (shape): (64, 64)
图像矩阵前 3x3 部分:
 [[0.    0.008 0.016]
 [0.008 0.016 0.023]
 [0.016 0.023 0.031]]
EXAMPLE 模糊后矩阵前 3x3 部分:
 [[0.009 0.011 0.013]
 [0.01  0.013 0.016]
 [0.011 0.016 0.021]]
EXAMPLE 可视化结果已保存到 .../outputs/01_image_as_matrix.png

Как видите, после размытия числовые различия между соседними пикселями становятся меньше — это как раз математическая суть "размытия":Замените исходное значение пикселя на среднее значение по окрестности。


Сценарии применения в ИИ

Сценарий ИИКак использовать матрицы
Свёрточная нейронная сеть (CNN)Входные данные — тензор 4-го порядка, состоящий из пакета изображений (batch, H, W, C), и каждый слой скользит свёрточным ядром (небольшой матрицей) по входу
Аугментация данныхВо время обучения случайным образом отражайте, поворачивайте и обрезайте изображения — всё это матричные операции, используемые для аугментации обучающего набора.
Предобработка изображенийПеред подачей в модель единообразно обрежьте до фиксированного размера (например, 224x224) — то есть это срезы и масштабирование матриц.
Перенос стиляПредставьте изображение как матрицу признаков и изменяйте "стилевые" признаки с помощью матричных операций.

ndarray в NumPy и Tensor в PyTorch — по сути одно и то же: многомерная числовая таблица. Понимание матрицы означает понимание самой базовой структуры данных в фреймворках глубокого обучения.

Другие расширения