Keras よく使う層タイプ

Keras は高水準のニューラルネットワーク API であり、ディープラーニングモデルを構築するための豊富な層タイプを提供します。

層(Layer)は Keras の基本的な構成要素であり、各層は入力データを受け取り、特定の変換を行った後に結果を出力します。

この記事では、Keras で最もよく使われる層タイプとその使用方法について詳しく説明します。


コア層タイプ

Dense 全結合層

全結合層は最も基本的なニューラルネットワーク層で、各入力ノードが出力ノードに接続されています。

例

from keras.layers import Dense

# 64個のニューロンを持ち、ReLU活性化関数を使用する全結合層を作成
dense_layer = Dense(units=64, activation='relu')

パラメータの説明:

  • units: 正の整数、出力空間の次元数
  • activation: 活性化関数。'relu'、'sigmoid'、'tanh'、'softmax' など
  • use_bias: ブール値、バイアスベクトルを使用するかどうか(デフォルトはTrue)
  • kernel_initializer: 重み行列の初期化方法

適用シーン:

  • 多層パーセプトロン(MLP)に使用
  • 分類器の最後の層として使用
  • 特徴変換と非線形マッピング

Conv2D 2次元畳み込み層

主に画像処理の畳み込み操作に使用され、局所的な特徴を抽出できます。

例

from keras.layers import Conv2D

# 32個の3x3畳み込みカーネルを持つ畳み込み層を作成
conv_layer = Conv2D(filters=32, kernel_size=(3, 3), activation='relu')

パラメータの説明:

  • filters: 整数、出力空間の次元数(畳み込みカーネルの数)
  • kernel_size: 整数またはタプル、畳み込みウィンドウの幅と高さ
  • strides: 畳み込みのストライド、デフォルトは(1, 1)
  • padding: 'valid'(パディングなし)または 'same'(出力が入力と同じサイズになるようにパディング)

適用シーン:

  • 画像分類
  • 物体検出
  • 画像セグメンテーション

LSTM 長・短期記憶ネットワーク層

系列データを処理するためのリカレントニューラルネットワーク層で、長期的な依存関係を学習できます。

例

from keras.layers import LSTM

# 128個のユニットを持つLSTM層を作成
lstm_layer = LSTM(units=128, return_sequences=True)

パラメータの説明:

  • units: 正の整数、出力空間の次元数
  • return_sequences: ブール値、完全な系列を返すかどうか(デフォルトはFalse)
  • dropout: 0から1の間の浮動小数点数、入力の線形変換のドロップアウト率
  • recurrent_dropout: 0から1の間の浮動小数点数、循環状態のドロップアウト率

適用シーン:

  • 自然言語処理
  • 時系列予測
  • 音声認識

Dropout ランダムドロップアウト層

トレーニング中に一部のニューロンの出力をランダムに0に設定し、過学習を防ぎます。

例

from keras.layers import Dropout

# ドロップアウト率0.5のDropout層を作成
dropout_layer = Dropout(rate=0.5)

パラメータの説明:

  • rate: 0から1の間の浮動小数点数、ドロップアウト率
  • noise_shape: 整数テンソル、入力に乗算されるバイナリドロップアウトマスクの形状を表します
  • seed: 乱数シード

適用シーン:

  • ニューラルネットワークの過学習を防ぐ
  • モデルの汎化能力を向上させる
  • 通常、全結合層の後に使用

その他の重要な層タイプ

BatchNormalization バッチ正規化層

前の層の出力をバッチ正規化し、トレーニングを高速化してモデルの安定性を向上させます。

例

from keras.layers import BatchNormalization

# バッチ正規化層を作成
bn_layer = BatchNormalization()

MaxPooling2D 2次元最大プーリング層

ウィンドウ内の最大値を取得することで特徴マップをダウンサンプリングします。

例

from keras.layers import MaxPooling2D

# 2x2の最大プーリング層を作成
pool_layer = MaxPooling2D(pool_size=(2, 2))

Flatten フラット化層

多次元の入力を1次元にフラット化し、畳み込み層から全結合層への移行によく使用されます。

例

from keras.layers import Flatten

# フラット化層を作成
flatten_layer = Flatten()

Embedding 埋め込み層

正の整数(インデックス)を固定サイズの密なベクトルに変換します。

例

from keras.layers import Embedding

# 語彙サイズ1000、出力次元64の埋め込み層を作成
embedding_layer = Embedding(input_dim=1000, output_dim=64)

層の組み合わせ例

例

from keras.models import Sequential
from keras.layers import Dense, Dropout, Conv2D, MaxPooling2D, Flatten

# シンプルなCNNモデルを作成
model = Sequential([
    Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
    MaxPooling2D((2, 2)),
    Conv2D(64, (3, 3), activation='relu'),
    MaxPooling2D((2, 2)),
    Flatten(),
    Dense(64, activation='relu'),
    Dropout(0.5),
    Dense(10, activation='softmax')
])

層を選ぶ際の指針

  1. 入力データの種類:

    • 画像データ:Conv2D + プーリング層
    • 系列データ:LSTM/GRU
    • 構造化データ:Dense層
  2. モデルの深さ:

    • 深いネットワークにはBatchNormalizationとDropoutを併用する必要があります
  3. タスクの種類:

    • 分類タスク:最後の層にsoftmax活性化関数を使用
    • 回帰タスク:最後の層に活性化関数を使用しないか、線形活性化を使用
  4. 計算リソース:

    • 大きなサイズの入力では、プーリング層を使用してパラメータを削減することを検討
    • リソースが限られている場合は、層の数とユニット数を減らす
その他の拡張