10 機械学習の一般理論
ライブラリのマニュアルを読めば最低限の操作方法は分かります. しかし実際に動かしてみたはいいが, 意図した動作をしなかったときどうすればよいのでしょうか? 家電の取扱説明書でもたいていは簡単なトラブルシュートの項目があるように, 実際に使いこなすにはいろいろな状況に対応する必要があります. さらにはエラーや警告メッセージが一切出力されなかったとしても, 望ましい結果が得られないことも多いです. もっと言えば, あなたがとったやり方から得られた結果が望ましいものかどうかはどう判断するのか? 使い方そのものが正しいのか? という疑問に, あなたは答えられるでしょうか? 機械学習では特にそういうことが多いです (もちろん, 機械学習に限らず, プログラムのテストはエラーメッセージの有無しか確認しないということはまれです).
このセクションは「理論」と題していますが, 理論そのものを細かく解説することはありません. ここでは実際の問題に対処できる応用力を高めるための説明をしますが,「デザインパターンの紹介」とも違う趣にしたつもりです. よって論理的な厳密さを追求した内容ではありませんが, たとえ話や模式図で「雰囲気で理解」するだけになってしまわないようにも気をつけたつもりです. 機械学習を利用する際に, 「どのアルゴリズムを使うべきか」「どのオプションが有効なのか」「それはどこを見て判断すべきか」 といったことを判断するポイントについて考えてもらうのが本章の目的です. そのため, このセクションでは狭義の機械学習の理論だけではなく, アルゴリズムや数値計算理論の観点, そして既存のオープンソースライブラリの実装に関する注意をも挙げていきます (という意気込みでしたがあくまでインターン向け資料なので当初の構想よりだいぶ量を減らしました).
具体的にこのセクションで触れる内容は次のとおりです. おおまかに内容の重なる参考書も挙げておきます.
10.1 章では代表的な分類アルゴリズムの特徴を解説します. 既存の参考書では 杉山 (2013) くらいの難易度と考えています. 本稿はこれにより応用面での注意点を重視したつもりです. より発展的な話題に言及した本には, 富岡 (2015), 川野, 松井, and 廣瀬 (2018) があり, これらの記述もいくらか参考にしています. アンサンブル学習で理論的に解明されていることをより知りたい場合, 邦訳も存在する Zhou (2012) が良い参考になります. なお, 本稿は分類タスクにとりくむインターンのための資料という都合上, 回帰問題に関する解説は基本的に省略しています.
13 章では, いわゆる「特徴量変換(選択)」をどうすべきかについての判断基準を与えます. 類書として Zheng and Casari (2018) は, ごく基本的な変換処理について丁寧に解説していますが, 本稿ではそれでは不十分と考え, より多く (結果として本稿ではあまり新しいことは書けませんでしたが…) の方法について特性を説明し, どういう場面で使うのが有効なのかのヒントを与えます. また, 私が以前書いた 『HJvanVeenの『特徴量エンジニアリング』註解』という記事も参考にしてください. これはある英語のスライドに掲載されていた特徴量変換の一覧を羅列し, 一部に補足説明をしたものです. 「どれを, どう使うべきか」の判断材料としては弱いですが, 調べるきっかけとして活用してください.
全体として, Hastie, Tibshriani, and Friedman (2009) で紹介されているレベルの理論よりも高度な話はありません.