Расширенный API TensorFlow - Keras

Keras — это высокоуровневый API нейронных сетей, написанный на Python, который может работать на TensorFlow, CNTK или Theano в качестве бэкендов. Keras спроектирован так, чтобы быть удобным для пользователя, модульным и легко расширяемым.

Ключевые возможности Keras

  1. Простой и удобный в использовании: предоставляет интуитивно понятный и согласованный интерфейс, подходит для быстрого прототипирования
  2. Модульность: слои нейронной сети, функции потерь, оптимизаторы и т. д. — все это подключаемые модули
  3. Легко расширяемый: позволяет легко добавлять новые модули для выражения новых исследовательских идей
  4. Поддержка нескольких бэкендов: может бесшовно работать на TensorFlow, CNTK или Theano

Основные концепции Keras

1. Модель

Основной структурой данных Keras является модель, которая представляет собой способ организации слоев нейронной сети. Keras предоставляет два основных типа моделей:

  • Модель Sequential: линейный стек слоев
  • Функциональный API: направленный ациклический граф для построения сложных моделей

2. Слой

Слои — это базовые строительные блоки Keras. Каждый слой получает входные данные, выполняет некоторые вычисления и выводит результат. Keras предоставляет множество предопределенных слоев:

  • Основные слои: Dense, Activation, Dropout и т. д.
  • Сверточные слои: Conv2D, MaxPooling2D и т. д.
  • Рекуррентные слои: LSTM, GRU и т. д.
  • Другие: Embedding, BatchNormalization и т. д.

3. Функция активации

Функция активации определяет выход нейрона. К часто используемым относятся:

  • ReLU (выпрямленная линейная функция)
  • Сигмоида
  • Tanh
  • Softmax (многоклассовая классификация)

Базовый рабочий процесс Keras

1. Определите модель

Пример

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

model = Sequential([
    Dense(64, activation='relu', input_shape=(784,)),
    Dense(64, activation='relu'),
    Dense(10, activation='softmax')
])

2. Скомпилируйте модель

Пример

model.compile(optimizer='adam',
              loss='categorical_crossentropy',
              metrics=['accuracy'])

3. Обучите модель

Пример

model.fit(x_train, y_train,
          epochs=5,
          batch_size=32)

4. Оцените модель

Пример

loss_and_metrics = model.evaluate(x_test, y_test, batch_size=128)

5. Сделайте прогнозы

Пример

classes = model.predict(x_test, batch_size=128)

Подробное объяснение распространённых слоёв Keras

1. Полносвязный слой Dense

Пример

Dense(units,
      activation=None,
      use_bias=True,
      kernel_initializer='glorot_uniform',
      bias_initializer='zeros')
  • units: положительное целое число, размерность выходного пространства
  • activation: функция активации
  • use_bias: использовать ли вектор смещения
  • kernel_initializer: инициализатор для матрицы весов
  • bias_initializer: инициализатор для вектора смещения

2. Conv2D — двумерный сверточный слой

Пример

Conv2D(filters,
       kernel_size,
       strides=(1, 1),
       padding='valid',
       activation=None)
  • filters: количество сверточных ядер
  • kernel_size: размер сверточного ядра
  • strides: шаг свертки
  • padding: режим дополнения ('valid' или 'same')

3. LSTM — слой долгой краткосрочной памяти

Пример

LSTM(units,
     activation='tanh',
     recurrent_activation='hard_sigmoid',
     return_sequences=False)
  • units: положительное целое число, размерность выходного пространства
  • activation: функция активации
  • recurrent_activation: функция активации для рекуррентного шага
  • return_sequences: возвращать ли полную последовательность

Сохранение и загрузка модели Keras

1. Сохранить всю модель

Пример

model.save('my_model.h5')  # Сохранить архитектуру, веса и конфигурацию обучения

2. Сохранить только архитектуру

Пример

json_string = model.to_json()  # Сохранить как JSON
yaml_string = model.to_yaml()  # Сохранить как YAML

3. Сохранить только веса

Пример

model.save_weights('my_model_weights.h5')

4. Загрузите модель

Пример

from tensorflow.keras.models import load_model

model = load_model('my_model.h5')  # Загрузите полную модель

Функции обратного вызова Keras

Функции обратного вызова — это функции, которые вызываются в определённых точках во время обучения и используются для:

  • Сохранение контрольных точек модели
  • Ранняя остановка
  • Корректировка скорости обучения
  • Логирование и т. д.

Распространённые функции обратного вызова

Пример

from tensorflow.keras.callbacks import ModelCheckpoint, EarlyStopping

callbacks = [
    ModelCheckpoint(filepath='best_model.h5', monitor='val_loss', save_best_only=True),
    EarlyStopping(monitor='val_loss', patience=3)
]

model.fit(x_train, y_train,
          epochs=10,
          callbacks=callbacks,
          validation_data=(x_val, y_val))

Практический пример Keras: распознавание рукописных цифр MNIST

Пример

from tensorflow.keras.datasets import mnist
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout, Flatten
from tensorflow.keras.layers import Conv2D, MaxPooling2D
from tensorflow.keras.utils import to_categorical

# Загрузить данные
(x_train, y_train), (x_test, y_test) = mnist.load_data()

# Предобработка данных
x_train = x_train.reshape(60000, 28, 28, 1).astype('float32') / 255
x_test = x_test.reshape(10000, 28, 28, 1).astype('float32') / 255
y_train = to_categorical(y_train, 10)
y_test = to_categorical(y_test, 10)

# Построение модели
model = Sequential([
    Conv2D(32, kernel_size=(3, 3), activation='relu', input_shape=(28, 28, 1)),
    Conv2D(64, (3, 3), activation='relu'),
    MaxPooling2D(pool_size=(2, 2)),
    Dropout(0.25),
    Flatten(),
    Dense(128, activation='relu'),
    Dropout(0.5),
    Dense(10, activation='softmax')
])

# Скомпилировать модель
model.compile(loss='categorical_crossentropy',
              optimizer='adam',
              metrics=['accuracy'])

# Обучаем модель
model.fit(x_train, y_train,
          batch_size=128,
          epochs=12,
          verbose=1,
          validation_data=(x_test, y_test))

# Оценка модели
score = model.evaluate(x_test, y_test, verbose=0)
print('Потери на тесте:', score[0])
print('Точность на тесте:', score[1])

Продвинутые советы по Keras

1. Пользовательские слои

Пример

from tensorflow.keras import backend as K
from tensorflow.keras.layers import Layer

class MyLayer(Layer):
    def __init__(self, output_dim, **kwargs):
        self.output_dim = output_dim
        super(MyLayer, self).__init__(**kwargs)
   
    def build(self, input_shape):
        self.kernel = self.add_weight(name='kernel',
                                     shape=(input_shape[1], self.output_dim),
                                     initializer='uniform',
                                     trainable=True)
        super(MyLayer, self).build(input_shape)
   
    def call(self, x):
        return K.dot(x, self.kernel)
   
    def compute_output_shape(self, input_shape):
        return (input_shape[0], self.output_dim)

2. Пользовательская функция потерь

Пример

from tensorflow.keras import backend as K

def custom_loss(y_true, y_pred):
    return K.mean(K.square(y_pred - y_true), axis=-1)

model.compile(optimizer='adam', loss=custom_loss)

3. Планирование скорости обучения

Пример

from tensorflow.keras.callbacks import LearningRateScheduler

def scheduler(epoch, lr):
    if epoch < 10:
        return lr
    else:
        return lr * K.exp(-0.1)

callback = LearningRateScheduler(scheduler)
model.fit(x_train, y_train, epochs=15, callbacks=[callback])

Keras: типичные проблемы и решения

1. Проблема переобучения

  • Добавьте слои Dropout
  • Используйте L1/L2-регуляризацию
  • Добавьте больше обучающих данных
  • Используйте аугментацию данных

2. Медленная скорость обучения

  • Увеличьте размер батча
  • Используйте более простую модель
  • Попробуйте разные оптимизаторы
  • Используйте ускорение на GPU

3. Исчезающие/взрывающиеся градиенты

  • Используйте BatchNormalization
  • Используйте подходящую инициализацию весов
  • Используйте несатурирующие функции активации, такие как ReLU
  • Используйте отсечение градиентов

Итог

Как высокоуровневый API TensorFlow, Keras предоставляет простой и интуитивно понятный интерфейс для построения и обучения моделей глубокого обучения. Прочитав эту статью, вы должны освоить:

  1. Основные концепции Keras и базовый рабочий процесс
  2. Как использовать часто используемые слои
  3. Сохранение и загрузка модели
  4. Использование функций обратного вызова
  5. Примеры применения в реальных проектах
  6. Продвинутые советы и решения типичных проблем

Сила Keras заключается в его гибкости и простоте использования, что делает разработку моделей глубокого обучения более эффективной. По мере накопления практики вы сможете создавать более сложные модели нейронных сетей для решения различных реальных задач.

Другие расширения