Изображения — это матрицы
Изображение в градациях серого — это по сути двумерный массив NumPy. Когда вы транспонируете, переворачиваете, обрезаете матрицу или применяете к ней свёртку, изображение соответствующим образом меняется.
После завершения этого кейса вы поймёте:Основа обработки изображений — линейная алгебра; матрица — это просто таблица чисел.
Повседневное введение
Пиксельная сетка фотографии
Увеличьте фотографию на телефоне и увеличьте ещё раз — пока не увидите крошечные квадраты. У каждого квадрата есть только одно значение цвета: 0 означает чистый чёрный, 255 — чистый белый, а числа между ними — разные оттенки серого.
Вся фотография — это прямоугольный массив этих крошечных квадратов — математики называют его "матрицей」。
Интуитивное понимание
Матрица — это не загадочное понятие, а просто таблица, заполненная числами.
Например, в приведённой ниже матрице \(3 \times 3\) каждое число представляет яркость пикселя (0 — самый тёмный, 1 — самый яркий):
С этим пониманием различные операции обработки изображений становятся понятными:
Когда вы нажимаете кнопку в Photoshop, за кулисами NumPy работает с двумерным массивом.
Математическое определение
Изображение в градациях серого \(H \times W\) можно представить в виде вещественной матрицы:
\[ M \in \mathbb{R}^{H \times W}, \quad M_{ij} \in [0, 1] \]где \(M_{ij}\) представляет значение яркости пикселя в \(i\)-й строке и \(j\)-м столбце.
Основные понятия операций над матрицами:
| Действие | Математическое выражение | Синтаксис NumPy | Эффект изображения |
|---|---|---|---|
| Транспонирование | \(M^T_{ij} = M_{ji}\) | img.T | Поменять строки и столбцы местами, отразить по диагонали |
| Горизонтальное отражение | \(M'_{ij} = M_{i, W-1-j}\) | img[:, ::-1] | Обратный порядок индексов столбцов |
| Вертикальное отражение | \(M'_{ij} = M_{H-1-i, j}\) | img[::-1, :] | Обратный порядок индексов строк |
| Усредняющее размытие | \(M'_{ij} = \frac{1}{k^2}\sum_{p,q} M_{i+p, j+q}\) | Скользящее окно для вычисления mean() | Заменить каждый пиксель средним значением по окрестности |
Операция "скользящего окна", используемая при усредняющем размытии, по сути, представляет собойсвёрткуеё прототип — основную операцию свёрточных нейронных сетей (CNN).
Практическое занятие по Python
Сгенерировать синтетическое полутоновое изображение и использовать операции с массивами NumPy для реализации транспонирования, отражения, обрезки и написанного вручную свёрточного размытия.
Пример
import matplotlib
matplotlib.use("Agg")
import matplotlib.pyplot as plt
import os
# Создать выходной каталог
OUT = os.path.join(os.path.dirname(os.path.abspath(__file__)), "outputs")
os.makedirs(OUT, exist_ok=True)
# 1. Сгенерировать синтетическое полутоновое изображение: диагональный градиент + яркий квадрат в середине
size = 64
img = np.zeros((size, size))
for i in range(size):
for j in range(size):
img[i, j] = (i + j) / (2 * size) # Диагональный градиент от тёмного к яркому
img[20:44, 20:44] += 0.6 # Добавить яркий квадрат посередине
img = np.clip(img, 0, 1) # Ограничить диапазоном [0, 1]
print("ПРИМЕР формы матрицы изображения:, img.shape)
print("Первая часть 3x3 матрицы изображения:\n", np.round(img[:3, :3], 3))
# 2. Матричные операции = преобразования изображения
img_transpose = img.T # Транспонирование: поменять местами строки и столбцы
img_flip_lr = img[:, ::-1] # Горизонтальное зеркало: обратный порядок индексов столбцов
img_flip_ud = img[::-1, :] # Вертикальное зеркало: обратный порядок индексов строк
img_crop = img[10:54, 10:54] # Обрезка: срез для получения подматрицы
# 3. Написанное вручную размытие по среднему (ядро свёртки 5x5, без OpenCV)
def box_blur(mat, k=5):
"""Применить размытие по среднему к матрице, используя скользящее окно k x k"""
pad = k // 2
# Дополнить границу краевыми значениями (краевое дополнение)
padded = np.pad(mat, pad, mode="edge")
out = np.zeros_like(mat)
for i in range(mat.shape[0]):
for j in range(mat.shape[1]):
# Возьмите окрестность k x k и вычислите среднее значение
out[i, j] = padded[i:i+k, j:j+k].mean()
return out
img_blur = box_blur(img, k=5)
print("ПРИМЕР: первая часть 3x3 размытой матрицы:\n",
np.round(img_blur[:3, :3], 3))
# 4. Сохранить рисунок для визуального сравнения
fig, axes = plt.subplots(2, 3, figsize=(12, 8))
titles = ["Исходное изображение (матрица)", "Транспонирование img.T",
"Горизонтальное отражение img[:, ::-1]",
"Вертикальное отражение img[::-1, :]",
"Обрезка img[10:54, 10:54]",
"Усредняющее размытие (свёртка 5x5)"]
images = [img, img_transpose, img_flip_lr,
img_flip_ud, img_crop, img_blur]
for ax, title, im in zip(axes.flat, titles, images):
ax.imshow(im, cmap="gray", vmin=0, vmax=1)
ax.set_title(title, fontsize=11)
ax.axis("off")
plt.tight_layout()
plt.savefig(os.path.join(OUT, "01_image_as_matrix.png"), dpi=130)
print(f"\nПРИМЕР: результат визуализации сохранён в {OUT}/01_image_as_matrix.png")
EXAMPLE 图像矩阵形状 (shape): (64, 64) 图像矩阵前 3x3 部分: [[0. 0.008 0.016] [0.008 0.016 0.023] [0.016 0.023 0.031]] EXAMPLE 模糊后矩阵前 3x3 部分: [[0.009 0.011 0.013] [0.01 0.013 0.016] [0.011 0.016 0.021]] EXAMPLE 可视化结果已保存到 .../outputs/01_image_as_matrix.png
Как видите, после размытия числовые различия между соседними пикселями становятся меньше — это как раз математическая суть "размытия":Замените исходное значение пикселя на среднее значение по окрестности。
Сценарии применения в ИИ
| Сценарий ИИ | Как использовать матрицы |
|---|---|
| Свёрточная нейронная сеть (CNN) | Входные данные — тензор 4-го порядка, состоящий из пакета изображений (batch, H, W, C), и каждый слой скользит свёрточным ядром (небольшой матрицей) по входу |
| Аугментация данных | Во время обучения случайным образом отражайте, поворачивайте и обрезайте изображения — всё это матричные операции, используемые для аугментации обучающего набора. |
| Предобработка изображений | Перед подачей в модель единообразно обрежьте до фиксированного размера (например, 224x224) — то есть это срезы и масштабирование матриц. |
| Перенос стиля | Представьте изображение как матрицу признаков и изменяйте "стилевые" признаки с помощью матричных операций. |
Другие расширенияndarray в NumPy и Tensor в PyTorch — по сути одно и то же: многомерная числовая таблица. Понимание матрицы означает понимание самой базовой структуры данных в фреймворках глубокого обучения.