Speichern und Laden von TensorFlow-Modellen

In Machine-Learning- und Deep-Learning-Projekten sind das Speichern und Laden von Modellen entscheidende Schritte.

TensorFlow bietet mehrere Möglichkeiten, Modelle zu speichern und wiederherzustellen, sodass Entwickler

  • Trainierte Modelle für die spätere Verwendung speichern
  • Modelle mit anderen Entwicklern teilen
  • Training von Checkpoints aus fortsetzen
  • Modelle in Produktionsumgebungen bereitstellen

TensorFlow 2.x unterstützt hauptsächlich drei Formate zum Speichern von Modellen:

  1. SavedModel-Format (empfohlen)
  2. HDF5-Format (.h5)
  3. Legacy-Keras-Format

Speichern des gesamten Modells

SavedModel-Format

SavedModel ist das von TensorFlow empfohlene Format zum Speichern von Modellen. Es enthält vollständige Modellinformationen:

Beispiel

import tensorflow as tf

# Ein einfaches Modell erstellen und trainieren
model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(10, activation='softmax')
])
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
model.fit(x_train, y_train, epochs=5)

# Als SavedModel-Format speichern
model.save('my_model')  # Hinweis: keine Dateiendung

Verzeichnisstruktur nach dem Speichern:

my_model/
├── assets/
├── variables/
│   ├── variables.data-00000-of-00001
│   └── variables.index
└── saved_model.pb

HDF5-Format

HDF5 ist ein weiteres häufig verwendetes Format zum Speichern von Modellen:

Beispiel

# Im HDF5-Format speichern
model.save('my_model.h5')  # Beachten Sie die .h5-Erweiterung

Unterschiede zwischen den beiden Formaten

Merkmal SavedModel HDF5
Enthält benutzerdefinierte Objekte Ja Erfordert zusätzliche Konfiguration
Enthält Optimierer-Zustand Ja Optional
TensorFlow Serving Native Unterstützung Nicht unterstützt
Dateigröße Größer Kleiner

Laden des gesamten Modells

Laden aus SavedModel

Beispiel

# Aus SavedModel laden
loaded_model = tf.keras.models.load_model('my_model')

# Modell überprüfen
loss, acc = loaded_model.evaluate(x_test, y_test, verbose=2)
print(f"Wiederhergestelltes Modell, Genauigkeit: {100*acc:.1f}%")

Laden aus HDF5-Datei

Beispiel

# Aus HDF5-Datei laden
loaded_model = tf.keras.models.load_model('my_model.h5')

# Modell überprüfen
loss, acc = loaded_model.evaluate(x_test, y_test, verbose=2)
print(f"Wiederhergestelltes Modell, Genauigkeit: {100*acc:.1f}%")

Selektives Speichern und Laden

Nur Gewichte speichern

Beispiel

# Gewichte speichern
model.save_weights('my_model_weights')

# Gewichte im HDF5-Format speichern
model.save_weights('my_model_weights.h5')

Gewichte laden

Beispiel

# Ein Modell mit derselben Architektur erstellen
new_model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(10, activation='softmax')
])
new_model.compile(optimizer='adam',
                loss='sparse_categorical_crossentropy',
                metrics=['accuracy'])

# Gewichte laden
new_model.load_weights('my_model_weights')

# Oder für .h5-Dateien
new_model.load_weights('my_model_weights.h5')

Speichern von Checkpoints für benutzerdefinierte Trainingsschleifen

Beispiel

# Checkpoint-Callback erstellen
checkpoint_path = "training_1/cp.ckpt"
cp_callback = tf.keras.callbacks.ModelCheckpoint(
    filepath=checkpoint_path,
    save_weights_only=True,
    verbose=1)

# Modell mit Callback trainieren
model.fit(x_train, y_train,
          epochs=10,
          callbacks=[cp_callback])

Bewährte Methoden zum Speichern und Laden von Modellen

  1. Produktionsbereitstellung: Priorisieren Sie die Verwendung des SavedModel-Formats
  2. Plattformübergreifende Weitergabe: Das HDF5-Format ist universeller
  3. Wiederherstellung nach einer Trainingsunterbrechung: Verwenden Sie Checkpoint-Callbacks, um regelmäßig zu speichern
  4. Umgang mit benutzerdefinierten Objekten:
    model.save('custom_model', save_format='tf')
  5. Modellversionskontrolle: Erstellen Sie unterschiedliche Verzeichnisse für verschiedene Versionen von Modellen

Häufige Probleme und Lösungen

Probleme beim Speichern von benutzerdefinierten Layern/Modellen

Beispiel

# Beispiel für benutzerdefinierten Layer
class CustomLayer(tf.keras.layers.Layer):
    def __init__(self, units=32, **kwargs):
        super().__init__(**kwargs)
        self.units = units
   
    def build(self, input_shape):
        self.w = self.add_weight(
            shape=(input_shape[-1], self.units),
            initializer="random_normal",
            trainable=True)
   
    def call(self, inputs):
        return tf.matmul(inputs, self.w)
   
    def get_config(self):
        config = super().get_config()
        config.update({"units": self.units})
        return config

# Benutzerdefinierten Layer verwenden und speichern
model = tf.keras.Sequential([CustomLayer(10)])
model.compile(optimizer='adam', loss='mse')
model.save('custom_model')  # Benutzerdefinierte Ebene wird automatisch gespeichert

Probleme mit der versionsübergreifenden Kompatibilität

  • Versuchen Sie, dieselbe TensorFlow-Version zum Speichern und Laden von Modellen zu verwenden
  • Erwägen Sie für Produktionsumgebungen die Verwendung von TensorFlow Serving, um Versionsprobleme zu vermeiden

Optimierung des Speicherns großer Modelle

Beispiel

# Verwenden Sie save_weights anstelle von save, um die Speicherzeit zu verkürzen
model.save_weights('large_model_weights.h5')
Andere Erweiterungen