Обработка данных изображений в TensorFlow

Что такое данные изображений

Данные изображения — это двумерная матрица (изображение в оттенках серого) или трёхмерный тензор (цветное изображение), состоящий из пикселей. В TensorFlow изображения обычно представляются в виде:

  • Изображение в оттенках серого: [height, width] или [height, width, 1]
  • Цветное изображение: [height, width, 3] (каналы RGB)

Зачем нужна обработка изображений

  • Нормализация данных: приведение размера изображения и диапазона значений к единому виду
  • Аугментация данных: увеличение разнообразия обучающих примеров с помощью преобразований
  • Извлечение признаков: выделение ключевой информации на изображениях
  • Предобработка: подготовка данных в подходящем формате для ввода в модель

Основной API TensorFlow для обработки изображений

Модуль tf.image

Набор API, предоставляемых TensorFlow специально для обработки изображений:

Пример

import tensorflow as tf
from tensorflow import image as tf_image

Основные категории функций:

Категория функций Пример основных методов
Коррекция цвета adjust_brightness, adjust_contrast
Геометрические преобразования flip, rotate, crop_to_bounding_box
Композиция изображений blend, draw_bounding_boxes
Преобразование формата encode_jpeg, decode_image
Статистические операции total_variation, per_image_standardization

Подробное объяснение методов предварительной обработки изображений

Процесс нормализации

Нормализуйте значения пикселей к фиксированному диапазону (обычно [0,1] или [-1,1]):

Пример

def normalize(image):
    """Нормализовать изображение uint8 к диапазону [0,1]"""
    image = tf.cast(image, tf.float32)  # Преобразовать в float32
    return image / 255.0  # Разделить на максимальное значение

# Пример использования
image = tf.random.uniform([256,256,3], 0, 255, dtype=tf.uint8)
normalized_image = normalize(image)

Методы аугментации данных

Увеличьте разнообразие данных с помощью случайных преобразований:

Пример

def augment_image(image, label):
    """Конвейер обработки изображений, применяющий случайную аугментацию"""
    # Случайное горизонтальное отражение
    image = tf_image.random_flip_left_right(image)
   
    # Случайная настройка яркости
    image = tf_image.random_brightness(image, max_delta=0.2)
   
    # Случайная настройка контраста
    image = tf_image.random_contrast(image, lower=0.8, upper=1.2)
   
    # Случайный поворот (от -15° до +15°)
    angle = tf.random.uniform([], -15, 15) * (3.1415/180)
    image = tf_image.rotate(image, angle)
   
    return image, label

Процесс загрузки изображений и формирования пакетов

Полный конвейер обработки

Фактическая реализация кода

Пример

def preprocess_dataset(dataset, batch_size=32, is_training=False):
    """Построение конвейера предварительной обработки изображений"""
   
    # Определение функции предварительной обработки
    def _preprocess(image, label):
        # Декодирование JPEG-изображения
        image = tf_image.decode_jpeg(image, channels=3)
        # Изменить размер до единого размера
        image = tf_image.resize(image, [224, 224])
        # Применить аугментацию данных во время обучения
        if is_training:
            image = augment_image(image)
        # Процесс нормализации
        image = normalize(image)
        return image, label
   
    # Применить предобработку и создать пакеты
    dataset = dataset.map(_preprocess, num_parallel_calls=tf.data.AUTOTUNE)
    dataset = dataset.batch(batch_size)
    dataset = dataset.prefetch(tf.data.AUTOTUNE)
   
    return dataset

Продвинутые методы обработки изображений

Использование слоёв предобработки Keras

TensorFlow 2.x предоставляет более продвинутые API предобработки:

Пример

from tensorflow.keras.layers.experimental import preprocessing

# Создать модель предобработки
augmenter = tf.keras.Sequential([
    preprocessing.RandomFlip("horizontal"),
    preprocessing.RandomRotation(0.1),
    preprocessing.RandomZoom(0.1),
    preprocessing.Rescaling(1./255)  # Нормализация
])

# Использовать в модели
model = tf.keras.Sequential([
    augmenter,  # Слои аугментации данных
    tf.keras.layers.Conv2D(32, 3, activation='relu'),
    # Другие слои...
])

Пользовательские слои обработки изображений

Реализуйте пользовательские операции предобработки:

Пример

class RandomColorDistortion(tf.keras.layers.Layer):
    def __init__(self, contrast_range=[0.5, 1.5], **kwargs):
        super().__init__(**kwargs)
        self.contrast_range = contrast_range
       
    def call(self, images, training=None):
        if not training:
            return images
           
        # Случайная настройка контраста
        contrast_factor = tf.random.uniform(
            [], self.contrast_range[0], self.contrast_range[1])
        images = tf.image.adjust_contrast(images, contrast_factor)
       
        # Случайная корректировка насыщенности
        images = tf.image.random_saturation(images, 0.5, 1.5)
       
        return images

Практические упражнения

Упражнение 1: Сравнение нормализации изображений

Загрузите тестовое изображение, примените следующие методы нормализации соответственно и визуализируйте результаты:

  1. Разделить на 255 (диапазон [0,1])
  2. Нормализация ImageNet по среднему и стандартному отклонению (mean=[0.485,0.456,0.406], std=[0.229,0.224,0.225])
  3. Пользовательская нормализация (например, масштабирование до диапазона [-1,1])

Упражнение 2: Наблюдение эффектов аугментации данных

Выберите изображение, примените различные комбинации методов аугментации (отражение + поворот + цветокоррекция), сгенерируйте 10 аугментированных версий и отобразите их в виде массива, чтобы наблюдать эффекты аугментации.

Упражнение 3: Полный конвейер предварительной обработки

Постройте полный конвейер предварительной обработки изображений, включающий следующие шаги:

  1. Загрузить изображения из TFRecord
  2. Декодировать изображения
  3. Случайное кадрирование до 256x256
  4. Случайное горизонтальное отражение
  5. Нормализовать до диапазона [-1,1]
  6. Создайте набор данных с размером пакета 32

Часто задаваемые вопросы

Q1: Как обрабатывать изображения разных размеров?

О: Используйтеtf.image.resizeчтобы унифицировать размеры, или использоватьtf.image.resize_with_crop_or_padобрезку/паддинг с сохранением соотношения сторон.

Q2: Следует ли выполнять обработку изображений на CPU или GPU?

Ответ: Обычно рекомендуется выполнять предварительную обработку изображений на CPU, используяtf.data.Dataset.mapизnum_parallel_callsпараметр для параллельной обработки.

Q3: Как избежать потери информации, вызванной аугментацией данных?

Ответ: Разумно задавайте диапазоны параметров аугментации. Для критически важных задач (например, медицинских изображений) используйте геометрические преобразования с осторожностью и отдавайте приоритет преобразованиям цветового пространства.

Q4: Лучшие практики обработки очень больших изображений?

Ответ: Рассмотрите возможность использованияtf.image.extract_patchesразбиения больших изображений на небольшие фрагменты или использования методов прогрессивной загрузки.

Другие расширения