Building High-level Features Using Large Scale Unsupervised Learning を読んだ

ざっくりとした概要は上の記事にもある通り、非常に大規模なニューラルネットワークをdeep learning と呼ばれる手法で学習させることで、教師なしで人の顔や猫の顔などの「高いレベル」の特徴検出器を作るという内容です。

近年、ニューラルネットワークが機械学習界(？)で再評価されてきているようです。それは、deep learning と呼ばれる深い階層のニューラルネットワークでも学習を可能にさせる手法が提案されたからです。

これまでのニューラルネットワークは誤差逆伝播法で学習する際に、深い階層の下のレイヤでは上手くパラメータが調整されないという問題がありました。そこで、autoencoderなど各レイヤのパラメータを一層ずつ学習する方法が提案されました。

これに加えて、中間層で次元を圧縮して元のデータを表現するための幾つかの基底を表現するsparse coding やL2-pooling(これは正直まだよくわからず)を利用することで、deep learning による検出器・分類器は、他の手法(SVMとか)に比べても高い精度になるようです。

このdeep learning についてはもっと調べたいと考えています。

続きはまた後日書きます！

だれかのメモ帖