Deep Learning

「深層学習」 近代科学社

という本を冬休みに入ったので買いました.これから定期的にこの本から勉強したことまとめ(メモ?)みたいなことを書いていこうと思います.そういえばBengio先生の本は1月中に草稿が完成するそうです.出版までまだ数ヶ月かかりそうですね.内容について詳細を書くのはネタバレというか著作権?的にアレなので大雑把に書いていこうと思います.以下は第一章です.

  • 深層学習はニューラルネットワークのみを指すものではなく,より広範な手法,例えばベイジアンネットワークなどをも指す表現である.
  • 深層学習の本質は内部表現/特徴を学習させることであり,人間の特徴選択の職人芸を軽減させるために重要な役割を果たす.
  • ニューラルネットワークのブームは過去2回訪れていて,一回目は学習可能タスクが限られていること,二回目は勾配消失問題とSVMの登場で立ち消えた.現在では活性化関数にシグモイドを使う,層ごとに学習していくといった解決策が存在する.
  • 表現学習は自己符号化によって行われる.自己符号化は入力を出力層で再現するものであり,正則化を工夫することで恒等写像ができるのを避けることができる.
  • 畳み込みニューラルネットワークは重みを共有し,前層の一部を入力とするユニットを用いることで計算量減少とロバスト性を実現する.
  • 現在の課題としては層ごとの学習がなぜ局所収束を避けられるのか,中間層の表現はどう解釈すればよいのか,組み合わせで意味を持つデータ(文脈等?)に適用できるかなどが存在する.今回のブームが過去と同様な一過性のものか人工知能の本質的な進展に繋がるか現時点では判断できない.

読んでいて気になったのは,「誤差逆伝播は内部表現の学習を可能にした」とあったのですがこれに関する詳しい解説が1章にはありませんでした.中間層の重みをチューニングすることはそのまま内部表現を学習することを意味しているのでしょうか?同じ入力のデータ構造を表現するのに等価な表現がいくつもある場合には最も簡潔な表現が選ばれるのでしょうか?こういった疑問が続く章で解決されるか楽しみにしながら読んでいこうと思います.

広告

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト / 変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト / 変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト / 変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト / 変更 )

%s と連携中