Deep Learning

「深層学習」第2章 深層ボルツマンマシン

今日は近代科学社「深層学習」の第二章を読み終えました.第二章はボルツマンマシンの説明から入ってDBM(Deep Boltzmann Machine),DBN(Deep Belief Network)が解説されている章です.学んだことを書いていきます.

  • 深層ボルツマンマシンは未知のモデルの分布を学習するための枠組みである.
  • ボルツマンマシンでは各確率変数は無向グラフ上のノードとして表され,0,1のいずれかの値を取り,どちらの値を取るかは確率的に決まる.その確率はリンクがつながっているノードの値のみに陽に依存し,「シグモイド信念」という関数によって計算される.シグモイド信念の表式は\frac{\exp{(\lambda_i x_i)}}{1+\exp{(\lambda_i)}}であり,\lambda_i\lambda_i=b_i+\sum_j w_{ij}x_jと定義される.w_{ij}はリンクの重みである.DNNでは全層の入力をシグモイドで変換した値を出力としていたがDBMではシグモイド変換した値を確率として用い0か1を出力するのが違いである.
  • 全変数の同時分布は各変数の値をスピンの±1に見立てたイジングモデルのボルツマン分布で定義される./*おそらくこれがボルツマンマシンの名称の由来*/勿論他の変数を固定した1変数の条件付き分布は上述のシグモイド信念になる.機械学習の文脈ではこの分布をギブス分布と呼ぶ.
  • ボルツマンマシンの確率変数は可観測な変数でも隠れ変数でも構わない.
  • ボルツマンマシンの学習は可観測な変数のデータを最尤推定し,適切なリンクの重みを決定することで行われる.推定の過程には現在のパラメータで変数の期待値を計算するという作業が入って,これがボルツマンマシンの計算量を飛躍的に増大させる要因となっている.
  • 隠れ変数が入ってくると計算量は更に増え面倒になる.しかし隠れ変数を導入することはグラフ全体で表現できる分布を増やすことになり,必要なことである.
  • 計算量過多の問題解決のためギブスサンプリング,平均場近似等を用いる.ギブスサンプリングはリンクの重みを固定し,適当な初期値からぐるぐる各変数を更新していき,十分時間が経った時の変数ベクトルを同時分布に従うサンプル点とみなすものである.問題点としては更新作業に計算量を消費することである.平均場近似は相互作用項をそのノードの平均値で置き換える近似である.平均値は平均場方程式(自己無撞着方程式)から求める.
  • 制限ボルツマンマシンはグラフを隠れ変数の層と可観測変数の層の2層に分け,同一層内のリンクはなく,一方の層のある変数がもう一方の層のすべての変数と結合しているモデルである.一方の層をすべて固定するともう一方の層の変数同士は条件付き独立になるので扱いが簡単になる.
  • 制限ボルツマンマシンの学習も通常のボルツマンマシン同様に行うが計算量軽減のためにコントラスティブ・ダイバージェンス法(3章)を用いる.
  • 深層ボルツマンマシンは隠れ変数の層を積み重ねたボルツマンマシンである.全体を学習させるのは骨が折れるし局所収束の問題があるのでDNNのように二層ごとに制限ボルツマンマシンとして学習させる.これを事前学習という.事前学習で得られたパラメータを初期値として仕上げに全体のパラメータを調整する.
  • 全体の仕上げ学習は計算量軽減のためギブスサンプリングと平均場近似を組み合わせて行う.ギブスサンプリングは工夫をして前回のパラメータ更新に使ったサンプル点を初期値として新たなサンプル点を得る.これにより計算量が軽減される.
  • 深層信念ネットワークは深層ボルツマンマシンにおいて,最上段以外のリンクを有向にしたものである.事前学習は深層ボルツマンマシンと同じ手続きで行う./*深層ボルツマンマシンのほうが良い結果を出すことが多いのであまり気にしないで良い?*/

以上本章の学習メモでした.気になったのはPRMLでもそうでしたが変数をイジングモデルのスピンと思ってカノニカル分布を適用するところです/*深層学習の本なのに関係ないところに引っかかるという…*/.カノニカル分布は統計力学においては熱浴と熱平衡にある系の微視的状態を記述する分布です.統計力学の定式化は確か「同じエネルギーの微視的状態の実現確率は等しい」「熱平衡状態のマクロ量はそれを実現する微視的状態の数が最も多いように決まる」から出発して(ここはかなり怪しい)後は特に物理的な原理や法則を入れず数学的になされていたと思うので,確かに出発点を再現するようなエネルギーや温度を適切に定義すれば物理以外でも成り立つでしょう.しかしイジングモデルをそのまま使うのが適切かどうかはよくわかりませんでした.

広告

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト / 変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト / 変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト / 変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト / 変更 )

%s と連携中