10.2 どの最適化アルゴリズムを選ぶべきか

ここまではいくつかの分類モデルを紹介し, それらは全て最適化問題によってモデルの形状を決められるということを説明しました. 決定木に関してはモデルと学習のためのアルゴリズムがほとんど不可分ですが, 多くの最適化問題にはさまざまなアルゴリズムが提案されており, 方法は1つではありません. 「唯一の答えを求められるのならユーザーにとって最適化問題のアルゴリズムなんてどうでも良いだろう」と思われるかもしれませんが, 実務的には時間的・ハードウェア的にどれだけの計算リソースが必要かはとても重要ですし, 機械学習でよく使われる確率的勾配降下法 (SGD) はそもそも厳密に解を求められるアルゴリズムではありません. しかしそれ以外の利点により広く用いられています.