未分類

一般化、容量、過剰適合、過小適合

/*「当てはめ過ぎ」は「過剰適合」が既に訳語としてあったのでこれからはそっちを使うようにしました.「当てはめなさすぎ」はまだ訳語が見つかっていないので過剰適合にあわせて「過小適合」を用いることにしました.*/

線形回帰の例では訓練データの平均二乗誤差を最小化するような計算を行いましたが,本来の目的は未知のデータに対して誤差を小さくすることであるはずでした.

ここで「一般化」という概念が出てきます.

一般化というのはこれから現れる未知のデータは訓練データと同じ確率分布に従っているものと考えて,未知のデータに対する出力を予想するものです.

従って,うまくAIが一般化できれば未知の入力に対しても損失関数を最小化できることが期待されるのです.

容量はイントロダクションでも紹介した通り,訓練データを与えられたときどれだけ正しく答えを出せるかを表すものです.

前回の例では線形回帰,つまり一次近似を行いましたが,二次とか十次近似を行うと多くのデータにうまく式を当てはめることができて容量を上げることができます.

しかし容量を上げすぎてしまうと過剰適合の問題が出てきてしまい,式の次数を上げることが一概によいこととは言えません.

さて,容量を測る指標としてVC dimension(Vapnik–Chervonenkis dimension)があります.

VC dimensionは二項分類の問題で定義されるもので,訓練データのうち正しく判定できたデータの数を表すものです.

ただし,もし訓練データが全部同じラベルを持っていたら,それによって訓練されたアルゴリズムは無限に大きな訓練データを正しく判定できることになってしまうので,訓練データは2つのラベル両方を含むものとします.

厳密にはVC dimensionとは次のような条件を満たす最大のmです.

\min_{\bf{X}\in \mathbb{R}^{m\times n}} \max_{y \in{\{0,1\}^m}} \min_{\bf{\theta}} \sum^{m}_{i=1}|f(\bf{X}[i,:];\bf{\theta})-y_i|=0

容量を減らす方法としては,複数の層を持つニューラルネットワークにおいては,中間層の数や訓練の繰り返し回数を変化させる,「正規化」というテクニックを使う,などがあります.

/*正規化については後々説明があるそうです.*/

容量の大きさと一般化能力のトレードオフはよく問題になりますが,これは古くからの考え方「オッカムの剃刀」に関連しています.

オッカムの剃刀とは物事を説明する仮説がいくつかあるときは,一番単純な仮説を採用するのがよいという考え方です.

ここではデータを説明するのに使う関数は過小適合を起こさない程度に低次元の式を用いた方がよいということになります.

統計学ではオッカムの剃刀をVC dimension等を用いてより厳密に定量化し,容量と「過剰適合によるミス数と過小適合によるミス数の差」(optimismともいいます)との関係を示しています.

それによれば,「容量とトレーニング数の比」とoptimismは増減が一致します.

適合不足によるミス数は容量が大きくなるに従って減っていくので,「過小適合によるミス数+optimism=過剰適合によるミス数」は下に凸のグラフになります.

/*optimismの増え方は過小適合によるミス数の減り方よりある地点から大きくなるそうです*/

このグラフの底が最適な容量の大きさということになります.

optimismは容量とトレーニング数の比の増減に一致するので,トレーニング数が増えればoptimismは減少します.

「過小適合によるミス数+optimism=過剰適合によるミス数」であるので,容量を固定してトレーニング数を変化させていけば最適容量(=過剰適合によるミス数が極小となる容量)が増加していきます.

/*よくわからないのでとりあえず次に進みます…*/

これはより多くトレーニング数を積めばより複雑なモデルでも学習できるという直感を裏付けています.

広告

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト / 変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト / 変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト / 変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト / 変更 )

%s と連携中