Обработка данных изображений в TensorFlow
Что такое данные изображений
Данные изображения — это двумерная матрица (изображение в оттенках серого) или трёхмерный тензор (цветное изображение), состоящий из пикселей. В TensorFlow изображения обычно представляются в виде:
- Изображение в оттенках серого: [height, width] или [height, width, 1]
- Цветное изображение: [height, width, 3] (каналы RGB)
Зачем нужна обработка изображений
- Нормализация данных: приведение размера изображения и диапазона значений к единому виду
- Аугментация данных: увеличение разнообразия обучающих примеров с помощью преобразований
- Извлечение признаков: выделение ключевой информации на изображениях
- Предобработка: подготовка данных в подходящем формате для ввода в модель
Основной API TensorFlow для обработки изображений
Модуль tf.image
Набор API, предоставляемых TensorFlow специально для обработки изображений:
Пример
from tensorflow import image as tf_image
Основные категории функций:
| Категория функций | Пример основных методов |
|---|---|
| Коррекция цвета | adjust_brightness, adjust_contrast |
| Геометрические преобразования | flip, rotate, crop_to_bounding_box |
| Композиция изображений | blend, draw_bounding_boxes |
| Преобразование формата | encode_jpeg, decode_image |
| Статистические операции | total_variation, per_image_standardization |
Подробное объяснение методов предварительной обработки изображений
Процесс нормализации
Нормализуйте значения пикселей к фиксированному диапазону (обычно [0,1] или [-1,1]):
Пример
"""Нормализовать изображение uint8 к диапазону [0,1]"""
image = tf.cast(image, tf.float32) # Преобразовать в float32
return image / 255.0 # Разделить на максимальное значение
# Пример использования
image = tf.random.uniform([256,256,3], 0, 255, dtype=tf.uint8)
normalized_image = normalize(image)
Методы аугментации данных
Увеличьте разнообразие данных с помощью случайных преобразований:
Пример
"""Конвейер обработки изображений, применяющий случайную аугментацию"""
# Случайное горизонтальное отражение
image = tf_image.random_flip_left_right(image)
# Случайная настройка яркости
image = tf_image.random_brightness(image, max_delta=0.2)
# Случайная настройка контраста
image = tf_image.random_contrast(image, lower=0.8, upper=1.2)
# Случайный поворот (от -15° до +15°)
angle = tf.random.uniform([], -15, 15) * (3.1415/180)
image = tf_image.rotate(image, angle)
return image, label
Процесс загрузки изображений и формирования пакетов
Полный конвейер обработки

Фактическая реализация кода
Пример
"""Построение конвейера предварительной обработки изображений"""
# Определение функции предварительной обработки
def _preprocess(image, label):
# Декодирование JPEG-изображения
image = tf_image.decode_jpeg(image, channels=3)
# Изменить размер до единого размера
image = tf_image.resize(image, [224, 224])
# Применить аугментацию данных во время обучения
if is_training:
image = augment_image(image)
# Процесс нормализации
image = normalize(image)
return image, label
# Применить предобработку и создать пакеты
dataset = dataset.map(_preprocess, num_parallel_calls=tf.data.AUTOTUNE)
dataset = dataset.batch(batch_size)
dataset = dataset.prefetch(tf.data.AUTOTUNE)
return dataset
Продвинутые методы обработки изображений
Использование слоёв предобработки Keras
TensorFlow 2.x предоставляет более продвинутые API предобработки:
Пример
# Создать модель предобработки
augmenter = tf.keras.Sequential([
preprocessing.RandomFlip("horizontal"),
preprocessing.RandomRotation(0.1),
preprocessing.RandomZoom(0.1),
preprocessing.Rescaling(1./255) # Нормализация
])
# Использовать в модели
model = tf.keras.Sequential([
augmenter, # Слои аугментации данных
tf.keras.layers.Conv2D(32, 3, activation='relu'),
# Другие слои...
])
Пользовательские слои обработки изображений
Реализуйте пользовательские операции предобработки:
Пример
def __init__(self, contrast_range=[0.5, 1.5], **kwargs):
super().__init__(**kwargs)
self.contrast_range = contrast_range
def call(self, images, training=None):
if not training:
return images
# Случайная настройка контраста
contrast_factor = tf.random.uniform(
[], self.contrast_range[0], self.contrast_range[1])
images = tf.image.adjust_contrast(images, contrast_factor)
# Случайная корректировка насыщенности
images = tf.image.random_saturation(images, 0.5, 1.5)
return images
Практические упражнения
Упражнение 1: Сравнение нормализации изображений
Загрузите тестовое изображение, примените следующие методы нормализации соответственно и визуализируйте результаты:
- Разделить на 255 (диапазон [0,1])
- Нормализация ImageNet по среднему и стандартному отклонению (mean=[0.485,0.456,0.406], std=[0.229,0.224,0.225])
- Пользовательская нормализация (например, масштабирование до диапазона [-1,1])
Упражнение 2: Наблюдение эффектов аугментации данных
Выберите изображение, примените различные комбинации методов аугментации (отражение + поворот + цветокоррекция), сгенерируйте 10 аугментированных версий и отобразите их в виде массива, чтобы наблюдать эффекты аугментации.
Упражнение 3: Полный конвейер предварительной обработки
Постройте полный конвейер предварительной обработки изображений, включающий следующие шаги:
- Загрузить изображения из TFRecord
- Декодировать изображения
- Случайное кадрирование до 256x256
- Случайное горизонтальное отражение
- Нормализовать до диапазона [-1,1]
- Создайте набор данных с размером пакета 32
Часто задаваемые вопросы
Q1: Как обрабатывать изображения разных размеров?
О: Используйтеtf.image.resizeчтобы унифицировать размеры, или использоватьtf.image.resize_with_crop_or_padобрезку/паддинг с сохранением соотношения сторон.
Q2: Следует ли выполнять обработку изображений на CPU или GPU?
Ответ: Обычно рекомендуется выполнять предварительную обработку изображений на CPU, используяtf.data.Dataset.mapизnum_parallel_callsпараметр для параллельной обработки.
Q3: Как избежать потери информации, вызванной аугментацией данных?
Ответ: Разумно задавайте диапазоны параметров аугментации. Для критически важных задач (например, медицинских изображений) используйте геометрические преобразования с осторожностью и отдавайте приоритет преобразованиям цветового пространства.
Q4: Лучшие практики обработки очень больших изображений?
Ответ: Рассмотрите возможность использованияtf.image.extract_patchesразбиения больших изображений на небольшие фрагменты или использования методов прогрессивной загрузки.