TensorFlow 分散トレーニング
TensorFlow 分散トレーニングとは、複数のマシンや複数の計算デバイス(GPU/TPUなど)を連携させて、モデルのトレーニングタスクを共同で完了させる技術です。分散トレーニングにより、以下のことが可能になります:
- モデルのトレーニングプロセスを高速化する
- 超大規模データセットを処理する
- パラメータが膨大な複雑なモデルをトレーニングする
コア概念
1. 分散戦略 (Distribution Strategy)
TensorFlow は複数の分散戦略を提供しています:
例
# よく使われる分散戦略
strategy = tf.distribute.MirroredStrategy() # シングルマシン・マルチGPU
strategy = tf.distribute.MultiWorkerMirroredStrategy() # マルチマシン・マルチGPU
strategy = tf.distribute.TPUStrategy() # TPUクラスタ
strategy = tf.distribute.ParameterServerStrategy() # パラメータサーバーアーキテクチャ
strategy = tf.distribute.MirroredStrategy() # シングルマシン・マルチGPU
strategy = tf.distribute.MultiWorkerMirroredStrategy() # マルチマシン・マルチGPU
strategy = tf.distribute.TPUStrategy() # TPUクラスタ
strategy = tf.distribute.ParameterServerStrategy() # パラメータサーバーアーキテクチャ
2. データ並列 vs モデル並列
| タイプ | データ並列 | モデル並列 |
|---|---|---|
| 原理 | 各デバイスが異なるデータバッチを処理する | モデルが異なるデバイスに分割される |
| 利点 | 実装が簡単で、ほとんどのシナリオに適している | 超大モデルに適している |
| 欠点 | 勾配の同期が必要 | 実装が複雑 |
3. 同期更新 vs 非同期更新
- 同期更新:すべてのデバイスが計算を完了した後にまとめてモデルを更新する
- 非同期更新:デバイスが独立に計算・更新し、待機する必要がない
実装手順
1. 分散環境の設定
例
import tensorflow as tf
# 分散戦略を初期化
strategy = tf.distribute.MirroredStrategy()
# 利用可能なデバイス数を確認
print(f"Number of devices: {strategy.num_replicas_in_sync}")
# 分散戦略を初期化
strategy = tf.distribute.MirroredStrategy()
# 利用可能なデバイス数を確認
print(f"Number of devices: {strategy.num_replicas_in_sync}")
2. 戦略のスコープ内でモデルを構築
例
with strategy.scope():
# このスコープ内で定義されたすべての変数は、すべてのデバイスにミラーリングされます
model = tf.keras.Sequential([
tf.keras.layers.Dense(128, activation='relu'),
tf.keras.layers.Dense(10)
])
model.compile(
optimizer='adam',
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
metrics=['accuracy']
)
# このスコープ内で定義されたすべての変数は、すべてのデバイスにミラーリングされます
model = tf.keras.Sequential([
tf.keras.layers.Dense(128, activation='relu'),
tf.keras.layers.Dense(10)
])
model.compile(
optimizer='adam',
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
metrics=['accuracy']
)
3. 分散データセットの準備
例
# データセットをロード
dataset = tf.data.Dataset.from_tensor_slices((x_train, y_train))
# バッチ処理とシャーディング
batch_size = 64 * strategy.num_replicas_in_sync # デバイス数に応じてバッチサイズを調整
dataset = dataset.shuffle(buffer_size=10000).batch(batch_size)
dataset = tf.data.Dataset.from_tensor_slices((x_train, y_train))
# バッチ処理とシャーディング
batch_size = 64 * strategy.num_replicas_in_sync # デバイス数に応じてバッチサイズを調整
dataset = dataset.shuffle(buffer_size=10000).batch(batch_size)
4. モデルのトレーニング
例
# 通常のトレーニング方法
model.fit(dataset, epochs=10)
model.fit(dataset, epochs=10)
高度な設定
1. マルチマシン構成
例
# 各ワーカーノードでTF_CONFIG環境変数を設定
import json
import os
os.environ['TF_CONFIG'] = json.dumps({
'cluster': {
'worker': ["worker1.example.com:12345", "worker2.example.com:23456"]
},
'task': {'type': 'worker', 'index': 0} # 各ワーカーのインデックスは異なる
})
import json
import os
os.environ['TF_CONFIG'] = json.dumps({
'cluster': {
'worker': ["worker1.example.com:12345", "worker2.example.com:23456"]
},
'task': {'type': 'worker', 'index': 0} # 各ワーカーのインデックスは異なる
})
2. カスタムトレーニングループ
例
@tf.function
def train_step(inputs):
x, y = inputs
with tf.GradientTape() as tape:
predictions = model(x, training=True)
loss = loss_object(y, predictions)
gradients = tape.gradient(loss, model.trainable_variables)
optimizer.apply_gradients(zip(gradients, model.trainable_variables))
return loss
# 分散トレーニングの手順
@tf.function
def distributed_train_step(dataset_inputs):
per_replica_losses = strategy.run(train_step, args=(dataset_inputs,))
return strategy.reduce(tf.distribute.ReduceOp.SUM, per_replica_losses, axis=None)
def train_step(inputs):
x, y = inputs
with tf.GradientTape() as tape:
predictions = model(x, training=True)
loss = loss_object(y, predictions)
gradients = tape.gradient(loss, model.trainable_variables)
optimizer.apply_gradients(zip(gradients, model.trainable_variables))
return loss
# 分散トレーニングの手順
@tf.function
def distributed_train_step(dataset_inputs):
per_replica_losses = strategy.run(train_step, args=(dataset_inputs,))
return strategy.reduce(tf.distribute.ReduceOp.SUM, per_replica_losses, axis=None)
パフォーマンス最適化のヒント
- バッチサイズ調整:総バッチサイズ = 単一デバイスのバッチサイズ × デバイス数
- データ前処理:を使用して
dataset.prefetch()とdataset.cache()データロード効率を向上させる - 勾配圧縮:デバイス間通信では、勾配圧縮を使用して帯域幅の要件を減らすことを検討してください
- 混合精度トレーニング:を組み合わせて
tf.keras.mixed_precisionトレーニング速度を向上させる
例
# 混合精度の例
policy = tf.keras.mixed_precision.Policy('mixed_float16')
tf.keras.mixed_precision.set_global_policy(policy)
policy = tf.keras.mixed_precision.Policy('mixed_float16')
tf.keras.mixed_precision.set_global_policy(policy)
よくある問題の解決
1. メモリ不足
- 単一デバイスのバッチサイズを減らす
- 勾配累積技術を使用する
- メモリ増加オプションを有効にする
例
gpus = tf.config.experimental.list_physical_devices('GPU')
for gpu in gpus:
tf.config.experimental.set_memory_growth(gpu, True)
for gpu in gpus:
tf.config.experimental.set_memory_growth(gpu, True)
2. デバイス間通信のボトルネック
- を使用して
NCCLデバイス間通信の実装として - 同期頻度を減らすことを検討する(更新ステップを適切に増やす)
例
# 通信実装の構成
os.environ['TF_GPU_ALLOCATOR'] = 'cuda_malloc_async'
os.environ['TF_FORCE_GPU_ALLOW_GROWTH'] = 'true'
os.environ['TF_GPU_ALLOCATOR'] = 'cuda_malloc_async'
os.environ['TF_FORCE_GPU_ALLOW_GROWTH'] = 'true'
実践演習
演習1:シングルマシン・マルチGPUトレーニング
- 簡単なCNNモデルを準備する
- を使用して
MirroredStrategyローカルの複数GPUでCIFAR-10データセットをトレーニングする - 単一GPUと複数GPUのトレーニング速度の差を比較する
演習2:マルチマシン構成のシミュレーション
- を使用して
MultiWorkerMirroredStrategy - 同じマシン上で複数のワーカー環境をシミュレートする(異なるポートを使用)
- ログを観察してワーカー間の調整プロセスを理解する