Deep Learning

「深層学習」第3章 事前学習とその周辺

第三章は深層学習器の事前学習について書かれた章で半分近くをCD法の説明に当てています.深層学習器の事前学習は勾配消失問題や局所収束を避けるために行われるものと2章までで説明されてきました.2章によれば層ごとの事前学習が理論的に保証する性能向上は今のところ3層までのDBMに限るとのことでしたが,実験で深層でも事前学習が有効であることが示されているそうで,実用上は必須になると考えられます.以下は学んだことの箇条書きです.

  • RBMのような分布を包括する概念として指数型ハーモニウム族(EFH)が存在する.EFHではRBMでイジングモデルのエネルギー関数を用いたところを,単独項,相互作用項として一般的な関数\alpha_{i}(v_{i}|b^{(1)}_i),\beta_j(h_j|b^{(2)}_j),\phi_{ij}(v_{i},h_{j}|w_{ij})に置き換えたものである.可視変数,隠れ変数の関係はRBMと同じ.
  • EFHの学習は可視変数の分布を出来る限り良く再現するノード重み,バイアス(w_{ij},b,以下パラメータ)を最尤法で決定することで行われる(つまりRBMと同じ).最尤法で尤度を最大化する必要があり,勾配法を用いると現在のモデル分布の期待値計算が必要になり解析的に行うのは計算量的に困難.したがってサンプリング法を用いる.ギブスサンプリングを工夫せずに使うと分布が定常になるまでに時間がかかって実用的ではない.
  • CD法はギブスサンプリングにおいて初期分布を工夫する.具体的にはp^{(0)}( v,h|\theta)=q( v)p( h|v,\theta)で定義される.つまり可視変数の経験分布からv^{(0)}を発生させ,それを初期値としてh^{(0)}を発生させる.CD-k法はこの後k回のvとhの更新を行うもので,典型的にはk=1として更新を終わらせる.初期値を工夫しない場合とくらべて更新回数が劇的に減っている.また,多数回更新した場合と比べても性能があまり低下しないことが知られている.
  • CD法がうまくいく説明は数種類存在する.①モデル分布の可視変数に対する対数尤度をパラメータで微分し,導関数をk回目の更新におけるv,hの分布関数の級数で書く.CD-k法はその級数を打ち切った近似導関数を求めて勾配に使っていると説明できる.②CD法はギブスサンプリングにおいてk回目の更新で得られる分布が経験分布に近いことを要請するコントラスティブ・バイバージェンスという損失関数を最小化している③モデル分布が無限回の更新で真の分布(可視変数が従う分布)になる条件(詳細釣り合い条件)を満たすことを促進する損失関数を最小化するアルゴリズムとしてCD法が得られる./*この辺りの説明を追うのには骨が折れました*/
  • 上記③の説明は真の分布のパラメータを得る問題を可視変数→隠れ変数→可視変数→…の離散時間マルコフ過程が定常分布として真の分布を得るようパラメータを調整する問題としてみるものであった.離散時間ではなく連続時間を考えた場合の学習アルゴリズムが最小確率流法である.この手法から導かれる学習則は問題によってはCD法より高性能(速くて精度が高い)ことが確かめられている.
  • 継続的CD法は何度もサンプリングするときに前のサンプリングデータを初期値に用いる方法である.これを用いる場合,前のサンプリングデータが偏っていれば次得られるサンプルもかたよる問題がある.これを解消する手法がパラレル・テンパリング,交換モンテカルロ法である.
  • CD法は確率的なモデルを使った事前学習であり,深層NNとは間接的な関係しか持たない.確定的なモデルを使った事前学習も提案されており,積層自己符号化器,雑音除去自己符号化器などがある.積層自己符号化器は入力を模擬する出力を得るNNを層ごとに学習していくもの,雑音除去自己符号化器は積層自己符号化器の入力に雑音を乗せて出力で真の入力を模擬することを目指すものである.
  • 深層学習ではなく入力から伸びるノードの重みをランダムにした三層のNNが提案されており,極端学習機械という.出力をシグモイドではなく線形関数にすることで最適化を容易にしている.SVMと比較した場合学習時間が短く性能も高いという利点がある./*詳細が気になりますね*/

以上勉強したことを書き連ねました.事前学習がどのように行われるのかの概略はつかめましたが,理論的な裏付けは数式を追うのがなかなかタフで復習が必要そうです.

広告

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト / 変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト / 変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト / 変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト / 変更 )

%s と連携中