最適化問題入門 -- 目的関数、変数と制約

最適化とは、目的関数を最小にするパラメータを見つけることです。AIトレーニング = 損失関数の最適化。


概念の解説

最適化問題の三要素

要素意味AIトレーニングでの対応
目的関数最小化すべき関数損失関数 J(θ)
決定変数調整できる量モデルパラメータ θ
制約条件変数に対する制限通常は制約なし

凸関数 vs 非凸関数

凸関数

お椀型で、任意の2点を結ぶ線が曲線の上にある

局所最適 = 大域最適

例:線形回帰のMSE損失

非凸関数

複数の谷と山がある

局所最適しか見つけられない

例:ディープニューラルネットワークの損失

ディープニューラルネットワークの損失関数は高度に非凸です——しかし実際には、勾配降下法が見つける局所最適は通常十分に良いものです。


身近な例

最短ルートを選ぶ

家から学校までの道は3つあります:5分、8分、12分。

決定変数 = どの道を選ぶか、目的関数 = かかる時間、目標 = 時間の最小化。

これは簡単です——3つの道をすべて試せばいいのです。しかしAIモデルには数百万のパラメータがあり、すべての組み合わせを列挙することは不可能です。

だからこそ勾配降下法が必要です——勾配が示す方向に沿って一歩ずつ最適解に近づいていきます。


Pythonで実践

例

import numpy as np

# 凸関数 f(x) = x^2、大域最適は x=0
# 非凸関数 f(x) = sin(x) + 0.1*x^2、複数の局所最適がある

def f_convex(x): return x**2
def f_nonconvex(x): return np.sin(x) + 0.1*x**2

# 異なる開始点から勾配降下を行う(次の章で詳述)、非凸では異なる局所最適に収束する可能性がある
print(「非凸関数は開始点によって異なる局所最適に到達する可能性がある」)
print(「これはディープラーニングのパラメータ調整で注意すべき点です」)

実行出力:

非凸関数は、開始点が異なると異なる局所最適解に到達する可能性がある

凸関数 vs 非凸関数 3D比較

下の左図は凸関数 f(x,y)=x²+y²(お椀型、唯一の大域最適)、右図は非凸関数(複数の局所最適)です。

視点を回転させると、「凸 = 単一の谷」と「非凸 = 複数の谷」の違いを直感的に体感できます:


AIでの応用シーン

トレーニング全体のプロセス = 大規模最適化

GPTレベルのモデルのトレーニングは、百万億次元空間の中の最適点を探すことです。損失関数 J(θ) はこの空間の中の超曲面であり、勾配降下法はその曲面上を徐々に下っていきます。トレーニング全体は数週間続くこともあり、数百万ドルの計算リソースを消費します——損失をできるだけ小さくするパラメータの組を見つけるためだけに。

凸 vs 非凸:理論と実践

線形回帰とSVMの最適化問題は凸です——勾配降下法は大域最適を見つけることが保証されています。しかし、ディープニューラルネットワークの損失曲面は高度に非凸で、無数の局所最適と鞍点があります。それでも実際には、SGDが見つける局所最適は通常、汎化性能が良好です——大きなバッチは「尖った」局所最適(汎化が悪い)に収束しやすく、小さなバッチは「平らな」局所最適(汎化が良い)に収束しやすい傾向があります。

損失ランドスケープの可視化

研究者は高次元の損失曲面を2Dに投影することで、ディープネットワークの損失ランドスケープには「峡谷」構造があることを発見しました——非凸ではありますが、峡谷の底に沿って進めばほぼ常に良い解に到達できます。これは、ランダム初期化 + SGDがディープラーニングでこれほどロバストである理由を説明しています。


その他の拡張