TensorFlow モデルの保存と読み込み

機械学習および深層学習プロジェクトにおいて、モデルの保存と読み込みは非常に重要な要素です。

TensorFlow はモデルの保存と復元のための複数の方法を提供しており、開発者は以下を行うことができます:

  • 訓練済みモデルを保存して後で使用する
  • モデルを他の開発者と共有する
  • チェックポイントからトレーニングを再開する
  • モデルを本番環境にデプロイする

TensorFlow 2.x は主に3つのモデル保存形式をサポートしています:

  1. SavedModel 形式(推奨)
  2. HDF5 形式(.h5)
  3. 旧Keras形式

モデル全体を保存する

SavedModel 形式

SavedModel は TensorFlow が推奨するモデル保存形式であり、モデルに関する完全な情報が含まれます:

例

import tensorflow as tf

# 创建并训练一个简单模型
model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(10, activation='softmax')
])
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
model.fit(x_train, y_train, epochs=5)

# SavedModel形式で保存
model.save('my_model')  # 注意:没有文件扩展名

保存後のディレクトリ構造:

my_model/
├── assets/
├── variables/
│   ├── variables.data-00000-of-00001
│   └── variables.index
└── saved_model.pb

HDF5 形式

HDF5 はもう1つの一般的に使用されるモデル保存形式です:

例

# HDF5形式で保存
model.save('my_model.h5')  # 注意.h5扩展名

2つの形式の違い

特徴 SavedModel HDF5
カスタムオブジェクトを含む である 追加の設定が必要
オプティマイザーの状態を含む である 任意
TensorFlow Serving ネイティブサポート サポートなし
ファイルサイズ 大きい 小さい

モデル全体を読み込む

SavedModel から読み込む

例

# SavedModelからロードする
loaded_model = tf.keras.models.load_model('my_model')

# 验证模型
loss, acc = loaded_model.evaluate(x_test, y_test, verbose=2)
print(f"Restored model, accuracy: {100*acc:.1f}%")

HDF5 ファイルから読み込む

例

# HDF5ファイルから読み込む
loaded_model = tf.keras.models.load_model('my_model.h5')

# 验证模型
loss, acc = loaded_model.evaluate(x_test, y_test, verbose=2)
print(f"Restored model, accuracy: {100*acc:.1f}%")

選択的な保存と読み込み

重みのみを保存

例

# 保存权重
model.save_weights('my_model_weights')

# HDF5形式で重みを保存
model.save_weights('my_model_weights.h5')

重みの読み込み

例

# 同じアーキテクチャのモデルを作成
new_model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(10, activation='softmax')
])
new_model.compile(optimizer='adam',
                loss='sparse_categorical_crossentropy',
                metrics=['accuracy'])

# 加载权重
new_model.load_weights('my_model_weights')

# または.h5ファイルの場合
new_model.load_weights('my_model_weights.h5')

カスタムトレーニングループのチェックポイントを保存

例

# 创建检查点回调
checkpoint_path = "training_1/cp.ckpt"
cp_callback = tf.keras.callbacks.ModelCheckpoint(
    filepath=checkpoint_path,
    save_weights_only=True,
    verbose=1)

# 使用回调训练模型
model.fit(x_train, y_train,
          epochs=10,
          callbacks=[cp_callback])

モデル保存と読み込みのベストプラクティス

  1. 本番環境へのデプロイ:優先的に SavedModel 形式を使用する
  2. クロスプラットフォーム共有:HDF5 形式の方が汎用的
  3. トレーニング中断からの復旧:チェックポイントコールバックを使用して定期的に保存する
  4. カスタムオブジェクトの処理:
    model.save('custom_model', save_format='tf')
  5. モデルのバージョン管理:モデルのバージョンごとに異なるディレクトリを作成する

よくある問題と解決策

カスタムレイヤー/モデルの保存問題

例

# 自定义层示例
class CustomLayer(tf.keras.layers.Layer):
    def __init__(self, units=32, **kwargs):
        super().__init__(**kwargs)
        self.units = units
   
    def build(self, input_shape):
        self.w = self.add_weight(
            shape=(input_shape[-1], self.units),
            initializer="random_normal",
            trainable=True)
   
    def call(self, inputs):
        return tf.matmul(inputs, self.w)
   
    def get_config(self):
        config = super().get_config()
        config.update({"units": self.units})
        return config

# 使用自定义层并保存
model = tf.keras.Sequential([CustomLayer(10)])
model.compile(optimizer='adam', loss='mse')
model.save('custom_model')  # 会自动保存自定义层

バージョン間の互換性問題

  • 可能な限り同じバージョンの TensorFlow を使用してモデルを保存および読み込みする
  • 本番環境では、バージョン問題を避けるために TensorFlow Serving の使用を検討してください

大規模モデル保存の最適化

例

# 使用save_weights替代save来减少保存时间
model.save_weights('large_model_weights.h5')
その他の拡張