Сохранение и загрузка модели TensorFlow
В проектах машинного обучения и глубокого обучения сохранение и загрузка моделей являются критически важными этапами.
TensorFlow предоставляет несколько способов сохранения и восстановления моделей, позволяя разработчикам:
- Сохранять обученные модели для последующего использования
- Делиться моделями с другими разработчиками
- Возобновлять обучение с контрольных точек
- Развертывать модели в производственных средах
TensorFlow 2.x в основном поддерживает три формата сохранения моделей:
- Формат SavedModel (рекомендуется)
- Формат HDF5 (.h5)
- Устаревший формат Keras
Сохранение всей модели
Формат SavedModel
SavedModel — это рекомендуемый TensorFlow формат сохранения модели. Он содержит полную информацию о модели:
Пример
import tensorflow as tf
# Создание и обучение простой модели
model = tf.keras.Sequential([
tf.keras.layers.Dense(64, activation='relu'),
tf.keras.layers.Dense(10, activation='softmax')
])
model.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
model.fit(x_train, y_train, epochs=5)
# Сохранить в формате SavedModel
model.save('my_model') # Примечание: без расширения файла
# Создание и обучение простой модели
model = tf.keras.Sequential([
tf.keras.layers.Dense(64, activation='relu'),
tf.keras.layers.Dense(10, activation='softmax')
])
model.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
model.fit(x_train, y_train, epochs=5)
# Сохранить в формате SavedModel
model.save('my_model') # Примечание: без расширения файла
Структура каталога после сохранения:
my_model/ ├── assets/ ├── variables/ │ ├── variables.data-00000-of-00001 │ └── variables.index └── saved_model.pb
Формат HDF5
HDF5 — это ещё один часто используемый формат сохранения моделей:
Пример
# Сохранить в формате HDF5
model.save('my_model.h5') # Обратите внимание на расширение .h5
model.save('my_model.h5') # Обратите внимание на расширение .h5
Различия между двумя форматами
| Характеристика | SavedModel | HDF5 |
|---|---|---|
| Содержит пользовательские объекты | Да | Требует дополнительной настройки |
| Содержит состояние оптимизатора | Да | Optional |
| TensorFlow Serving | Нативная поддержка | Не поддерживается |
| Размер файла | Больше | Меньше |
Загрузка всей модели
Загрузка из SavedModel
Пример
# Загрузить из SavedModel
loaded_model = tf.keras.models.load_model('my_model')
# Проверить модель
loss, acc = loaded_model.evaluate(x_test, y_test, verbose=2)
print(f"Модель восстановлена, точность: {100*acc:.1f}%")
loaded_model = tf.keras.models.load_model('my_model')
# Проверить модель
loss, acc = loaded_model.evaluate(x_test, y_test, verbose=2)
print(f"Модель восстановлена, точность: {100*acc:.1f}%")
Загрузка из файла HDF5
Пример
# Загрузить из файла HDF5
loaded_model = tf.keras.models.load_model('my_model.h5')
# Проверить модель
loss, acc = loaded_model.evaluate(x_test, y_test, verbose=2)
print(f"Модель восстановлена, точность: {100*acc:.1f}%")
loaded_model = tf.keras.models.load_model('my_model.h5')
# Проверить модель
loss, acc = loaded_model.evaluate(x_test, y_test, verbose=2)
print(f"Модель восстановлена, точность: {100*acc:.1f}%")
Выборочное сохранение и загрузка
Сохранение только весов
Пример
# Сохранить веса
model.save_weights('my_model_weights')
# Сохранить веса в формате HDF5
model.save_weights('my_model_weights.h5')
model.save_weights('my_model_weights')
# Сохранить веса в формате HDF5
model.save_weights('my_model_weights.h5')
Загрузка весов
Пример
# Создать модель с той же архитектурой
new_model = tf.keras.Sequential([
tf.keras.layers.Dense(64, activation='relu'),
tf.keras.layers.Dense(10, activation='softmax')
])
new_model.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
# Загрузить веса
new_model.load_weights('my_model_weights')
# Или для файлов .h5
new_model.load_weights('my_model_weights.h5')
new_model = tf.keras.Sequential([
tf.keras.layers.Dense(64, activation='relu'),
tf.keras.layers.Dense(10, activation='softmax')
])
new_model.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
# Загрузить веса
new_model.load_weights('my_model_weights')
# Или для файлов .h5
new_model.load_weights('my_model_weights.h5')
Сохранение контрольных точек для пользовательских циклов обучения
Пример
# Создать callback контрольной точки
checkpoint_path = "training_1/cp.ckpt"
cp_callback = tf.keras.callbacks.ModelCheckpoint(
filepath=checkpoint_path,
save_weights_only=True,
verbose=1)
# Обучение модели с помощью callback
model.fit(x_train, y_train,
epochs=10,
callbacks=[cp_callback])
checkpoint_path = "training_1/cp.ckpt"
cp_callback = tf.keras.callbacks.ModelCheckpoint(
filepath=checkpoint_path,
save_weights_only=True,
verbose=1)
# Обучение модели с помощью callback
model.fit(x_train, y_train,
epochs=10,
callbacks=[cp_callback])
Лучшие практики сохранения и загрузки моделей
- Развёртывание в продакшене: Отдавайте предпочтение формату SavedModel
- Кроссплатформенный обмен: формат HDF5 более универсален
- Восстановление после прерывания обучения: используйте callback-и контрольных точек для периодического сохранения
- Обработка пользовательских объектов:
model.save('custom_model', save_format='tf') - Управление версиями моделей: создавайте разные каталоги для разных версий моделей
Распространённые проблемы и решения
Проблемы сохранения пользовательского слоя/модели
Пример
# Пример пользовательского слоя
class CustomLayer(tf.keras.layers.Layer):
def __init__(self, units=32, **kwargs):
super().__init__(**kwargs)
self.units = units
def build(self, input_shape):
self.w = self.add_weight(
shape=(input_shape[-1], self.units),
initializer="random_normal",
trainable=True)
def call(self, inputs):
return tf.matmul(inputs, self.w)
def get_config(self):
config = super().get_config()
config.update({"units": self.units})
return config
# Используйте пользовательский слой и сохраните
model = tf.keras.Sequential([CustomLayer(10)])
model.compile(optimizer='adam', loss='mse')
model.save('custom_model') # Пользовательский слой будет сохранён автоматически
class CustomLayer(tf.keras.layers.Layer):
def __init__(self, units=32, **kwargs):
super().__init__(**kwargs)
self.units = units
def build(self, input_shape):
self.w = self.add_weight(
shape=(input_shape[-1], self.units),
initializer="random_normal",
trainable=True)
def call(self, inputs):
return tf.matmul(inputs, self.w)
def get_config(self):
config = super().get_config()
config.update({"units": self.units})
return config
# Используйте пользовательский слой и сохраните
model = tf.keras.Sequential([CustomLayer(10)])
model.compile(optimizer='adam', loss='mse')
model.save('custom_model') # Пользовательский слой будет сохранён автоматически
Проблемы совместимости между версиями
- Старайтесь использовать одну и ту же версию TensorFlow для сохранения и загрузки моделей
- Для production-сред рассмотрите использование TensorFlow Serving, чтобы избежать проблем с версиями
Оптимизация сохранения больших моделей
Пример
# Используйте save_weights вместо save, чтобы сократить время сохранения
model.save_weights('large_model_weights.h5')
model.save_weights('large_model_weights.h5')