Сохранение и загрузка модели TensorFlow

В проектах машинного обучения и глубокого обучения сохранение и загрузка моделей являются критически важными этапами.

TensorFlow предоставляет несколько способов сохранения и восстановления моделей, позволяя разработчикам:

  • Сохранять обученные модели для последующего использования
  • Делиться моделями с другими разработчиками
  • Возобновлять обучение с контрольных точек
  • Развертывать модели в производственных средах

TensorFlow 2.x в основном поддерживает три формата сохранения моделей:

  1. Формат SavedModel (рекомендуется)
  2. Формат HDF5 (.h5)
  3. Устаревший формат Keras

Сохранение всей модели

Формат SavedModel

SavedModel — это рекомендуемый TensorFlow формат сохранения модели. Он содержит полную информацию о модели:

Пример

import tensorflow as tf

# Создание и обучение простой модели
model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(10, activation='softmax')
])
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
model.fit(x_train, y_train, epochs=5)

# Сохранить в формате SavedModel
model.save('my_model')  # Примечание: без расширения файла

Структура каталога после сохранения:

my_model/
├── assets/
├── variables/
│   ├── variables.data-00000-of-00001
│   └── variables.index
└── saved_model.pb

Формат HDF5

HDF5 — это ещё один часто используемый формат сохранения моделей:

Пример

# Сохранить в формате HDF5
model.save('my_model.h5')  # Обратите внимание на расширение .h5

Различия между двумя форматами

Характеристика SavedModel HDF5
Содержит пользовательские объекты Да Требует дополнительной настройки
Содержит состояние оптимизатора Да Optional
TensorFlow Serving Нативная поддержка Не поддерживается
Размер файла Больше Меньше

Загрузка всей модели

Загрузка из SavedModel

Пример

# Загрузить из SavedModel
loaded_model = tf.keras.models.load_model('my_model')

# Проверить модель
loss, acc = loaded_model.evaluate(x_test, y_test, verbose=2)
print(f"Модель восстановлена, точность: {100*acc:.1f}%")

Загрузка из файла HDF5

Пример

# Загрузить из файла HDF5
loaded_model = tf.keras.models.load_model('my_model.h5')

# Проверить модель
loss, acc = loaded_model.evaluate(x_test, y_test, verbose=2)
print(f"Модель восстановлена, точность: {100*acc:.1f}%")

Выборочное сохранение и загрузка

Сохранение только весов

Пример

# Сохранить веса
model.save_weights('my_model_weights')

# Сохранить веса в формате HDF5
model.save_weights('my_model_weights.h5')

Загрузка весов

Пример

# Создать модель с той же архитектурой
new_model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(10, activation='softmax')
])
new_model.compile(optimizer='adam',
                loss='sparse_categorical_crossentropy',
                metrics=['accuracy'])

# Загрузить веса
new_model.load_weights('my_model_weights')

# Или для файлов .h5
new_model.load_weights('my_model_weights.h5')

Сохранение контрольных точек для пользовательских циклов обучения

Пример

# Создать callback контрольной точки
checkpoint_path = "training_1/cp.ckpt"
cp_callback = tf.keras.callbacks.ModelCheckpoint(
    filepath=checkpoint_path,
    save_weights_only=True,
    verbose=1)

# Обучение модели с помощью callback
model.fit(x_train, y_train,
          epochs=10,
          callbacks=[cp_callback])

Лучшие практики сохранения и загрузки моделей

  1. Развёртывание в продакшене: Отдавайте предпочтение формату SavedModel
  2. Кроссплатформенный обмен: формат HDF5 более универсален
  3. Восстановление после прерывания обучения: используйте callback-и контрольных точек для периодического сохранения
  4. Обработка пользовательских объектов:
    model.save('custom_model', save_format='tf')
  5. Управление версиями моделей: создавайте разные каталоги для разных версий моделей

Распространённые проблемы и решения

Проблемы сохранения пользовательского слоя/модели

Пример

# Пример пользовательского слоя
class CustomLayer(tf.keras.layers.Layer):
    def __init__(self, units=32, **kwargs):
        super().__init__(**kwargs)
        self.units = units
   
    def build(self, input_shape):
        self.w = self.add_weight(
            shape=(input_shape[-1], self.units),
            initializer="random_normal",
            trainable=True)
   
    def call(self, inputs):
        return tf.matmul(inputs, self.w)
   
    def get_config(self):
        config = super().get_config()
        config.update({"units": self.units})
        return config

# Используйте пользовательский слой и сохраните
model = tf.keras.Sequential([CustomLayer(10)])
model.compile(optimizer='adam', loss='mse')
model.save('custom_model')  # Пользовательский слой будет сохранён автоматически

Проблемы совместимости между версиями

  • Старайтесь использовать одну и ту же версию TensorFlow для сохранения и загрузки моделей
  • Для production-сред рассмотрите использование TensorFlow Serving, чтобы избежать проблем с версиями

Оптимизация сохранения больших моделей

Пример

# Используйте save_weights вместо save, чтобы сократить время сохранения
model.save_weights('large_model_weights.h5')
Другие расширения