Расширенный API TensorFlow - Keras
Keras — это высокоуровневый API нейронных сетей, написанный на Python, который может работать на TensorFlow, CNTK или Theano в качестве бэкендов. Keras спроектирован так, чтобы быть удобным для пользователя, модульным и легко расширяемым.
Ключевые возможности Keras
- Простой и удобный в использовании: предоставляет интуитивно понятный и согласованный интерфейс, подходит для быстрого прототипирования
- Модульность: слои нейронной сети, функции потерь, оптимизаторы и т. д. — все это подключаемые модули
- Легко расширяемый: позволяет легко добавлять новые модули для выражения новых исследовательских идей
- Поддержка нескольких бэкендов: может бесшовно работать на TensorFlow, CNTK или Theano
Основные концепции Keras
1. Модель
Основной структурой данных Keras является модель, которая представляет собой способ организации слоев нейронной сети. Keras предоставляет два основных типа моделей:
- Модель Sequential: линейный стек слоев
- Функциональный API: направленный ациклический граф для построения сложных моделей
2. Слой
Слои — это базовые строительные блоки Keras. Каждый слой получает входные данные, выполняет некоторые вычисления и выводит результат. Keras предоставляет множество предопределенных слоев:
- Основные слои: Dense, Activation, Dropout и т. д.
- Сверточные слои: Conv2D, MaxPooling2D и т. д.
- Рекуррентные слои: LSTM, GRU и т. д.
- Другие: Embedding, BatchNormalization и т. д.
3. Функция активации
Функция активации определяет выход нейрона. К часто используемым относятся:
- ReLU (выпрямленная линейная функция)
- Сигмоида
- Tanh
- Softmax (многоклассовая классификация)
Базовый рабочий процесс Keras
1. Определите модель
Пример
from tensorflow.keras.layers import Dense
model = Sequential([
Dense(64, activation='relu', input_shape=(784,)),
Dense(64, activation='relu'),
Dense(10, activation='softmax')
])
2. Скомпилируйте модель
Пример
loss='categorical_crossentropy',
metrics=['accuracy'])
3. Обучите модель
Пример
epochs=5,
batch_size=32)
4. Оцените модель
Пример
5. Сделайте прогнозы
Пример
Подробное объяснение распространённых слоёв Keras
1. Полносвязный слой Dense
Пример
activation=None,
use_bias=True,
kernel_initializer='glorot_uniform',
bias_initializer='zeros')
units: положительное целое число, размерность выходного пространстваactivation: функция активацииuse_bias: использовать ли вектор смещенияkernel_initializer: инициализатор для матрицы весовbias_initializer: инициализатор для вектора смещения
2. Conv2D — двумерный сверточный слой
Пример
kernel_size,
strides=(1, 1),
padding='valid',
activation=None)
filters: количество сверточных ядерkernel_size: размер сверточного ядраstrides: шаг сверткиpadding: режим дополнения ('valid' или 'same')
3. LSTM — слой долгой краткосрочной памяти
Пример
activation='tanh',
recurrent_activation='hard_sigmoid',
return_sequences=False)
units: положительное целое число, размерность выходного пространстваactivation: функция активацииrecurrent_activation: функция активации для рекуррентного шагаreturn_sequences: возвращать ли полную последовательность
Сохранение и загрузка модели Keras
1. Сохранить всю модель
Пример
2. Сохранить только архитектуру
Пример
yaml_string = model.to_yaml() # Сохранить как YAML
3. Сохранить только веса
Пример
4. Загрузите модель
Пример
model = load_model('my_model.h5') # Загрузите полную модель
Функции обратного вызова Keras
Функции обратного вызова — это функции, которые вызываются в определённых точках во время обучения и используются для:
- Сохранение контрольных точек модели
- Ранняя остановка
- Корректировка скорости обучения
- Логирование и т. д.
Распространённые функции обратного вызова
Пример
callbacks = [
ModelCheckpoint(filepath='best_model.h5', monitor='val_loss', save_best_only=True),
EarlyStopping(monitor='val_loss', patience=3)
]
model.fit(x_train, y_train,
epochs=10,
callbacks=callbacks,
validation_data=(x_val, y_val))
Практический пример Keras: распознавание рукописных цифр MNIST
Пример
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout, Flatten
from tensorflow.keras.layers import Conv2D, MaxPooling2D
from tensorflow.keras.utils import to_categorical
# Загрузить данные
(x_train, y_train), (x_test, y_test) = mnist.load_data()
# Предобработка данных
x_train = x_train.reshape(60000, 28, 28, 1).astype('float32') / 255
x_test = x_test.reshape(10000, 28, 28, 1).astype('float32') / 255
y_train = to_categorical(y_train, 10)
y_test = to_categorical(y_test, 10)
# Построение модели
model = Sequential([
Conv2D(32, kernel_size=(3, 3), activation='relu', input_shape=(28, 28, 1)),
Conv2D(64, (3, 3), activation='relu'),
MaxPooling2D(pool_size=(2, 2)),
Dropout(0.25),
Flatten(),
Dense(128, activation='relu'),
Dropout(0.5),
Dense(10, activation='softmax')
])
# Скомпилировать модель
model.compile(loss='categorical_crossentropy',
optimizer='adam',
metrics=['accuracy'])
# Обучаем модель
model.fit(x_train, y_train,
batch_size=128,
epochs=12,
verbose=1,
validation_data=(x_test, y_test))
# Оценка модели
score = model.evaluate(x_test, y_test, verbose=0)
print('Потери на тесте:', score[0])
print('Точность на тесте:', score[1])
Продвинутые советы по Keras
1. Пользовательские слои
Пример
from tensorflow.keras.layers import Layer
class MyLayer(Layer):
def __init__(self, output_dim, **kwargs):
self.output_dim = output_dim
super(MyLayer, self).__init__(**kwargs)
def build(self, input_shape):
self.kernel = self.add_weight(name='kernel',
shape=(input_shape[1], self.output_dim),
initializer='uniform',
trainable=True)
super(MyLayer, self).build(input_shape)
def call(self, x):
return K.dot(x, self.kernel)
def compute_output_shape(self, input_shape):
return (input_shape[0], self.output_dim)
2. Пользовательская функция потерь
Пример
def custom_loss(y_true, y_pred):
return K.mean(K.square(y_pred - y_true), axis=-1)
model.compile(optimizer='adam', loss=custom_loss)
3. Планирование скорости обучения
Пример
def scheduler(epoch, lr):
if epoch < 10:
return lr
else:
return lr * K.exp(-0.1)
callback = LearningRateScheduler(scheduler)
model.fit(x_train, y_train, epochs=15, callbacks=[callback])
Keras: типичные проблемы и решения
1. Проблема переобучения
- Добавьте слои Dropout
- Используйте L1/L2-регуляризацию
- Добавьте больше обучающих данных
- Используйте аугментацию данных
2. Медленная скорость обучения
- Увеличьте размер батча
- Используйте более простую модель
- Попробуйте разные оптимизаторы
- Используйте ускорение на GPU
3. Исчезающие/взрывающиеся градиенты
- Используйте BatchNormalization
- Используйте подходящую инициализацию весов
- Используйте несатурирующие функции активации, такие как ReLU
- Используйте отсечение градиентов
Итог
Как высокоуровневый API TensorFlow, Keras предоставляет простой и интуитивно понятный интерфейс для построения и обучения моделей глубокого обучения. Прочитав эту статью, вы должны освоить:
- Основные концепции Keras и базовый рабочий процесс
- Как использовать часто используемые слои
- Сохранение и загрузка модели
- Использование функций обратного вызова
- Примеры применения в реальных проектах
- Продвинутые советы и решения типичных проблем
Сила Keras заключается в его гибкости и простоте использования, что делает разработку моделей глубокого обучения более эффективной. По мере накопления практики вы сможете создавать более сложные модели нейронных сетей для решения различных реальных задач.
Другие расширения