機械学習のための最適輸送
最適輸送(Optimal Transport)は、確率分布間の距離を測り、一方の分布を他方へ最小コストで「輸送」する写像を求める数学的枠組みである。本記事は、機械学習における最適輸送の基礎理論と、生成モデル・クラスタリング・ドメイン適応などへの応用を解説する。
背景メモ
- 「最適輸送」(Optimal Transport, OT)は、ある確率分布を別の分布へ最小コストで「運ぶ」方法を求める数学理論。もともとは18世紀の工学問題に起源を持ち、ガスパール・モンジュやレオニード・カントロビッチ(ノーベル経済学賞受賞)らが発展させた。
- この資料は、機械学習研究者・実務者向けにOTの理論とアルゴリズムを解説したチュートリアル。機械学習では、生成モデル(画像生成など)、機械翻訳、ドメイン適応、データセット間の分布のずれを補正する手法としてOTが使われる。
- 著者のGabriel Peyré氏(CNRS研究員、ENS教授、OTと機械学習の著名な研究者)らによるもので、数学的な厳密さと実装への橋渡しを意図している。ワッサースタイン距離(OTが導く距離指標)が、勾配降下法と組み合わせられるようになったことで、GANs(敵対的生成ネットワーク)や画像生成の品質指標として広く採用されている。
- 背景知識として、線形計画法、凸解析、確率分布の基礎があると理解が深まるが、この資料自体が初学者向けに丁寧に構築されている。