oikakerublogの日記

知識ゼロから色々しらべてみた話し

Memo ディープラーニングについて

◆畳み込み

・画像認識分野などで使われる。

・「畳み込みニューラルネットワークは、…入力層…、畳み込み層…、プーリング層、全結合層…、出力層…から構成されています。」(山下、イラストで学ぶ~(2016))

・「画像フィルターの一種です。…これにより、画像に描かれている物体の特徴をより的確に捉えることが可能になります。」(中井、Tensorflowで学ぶ〜、027)

 

◆プーリング層

・「プーリング層は、畳み込み層から出力された特徴マップを縮小します。そのとき、着目する領域を設定してその領域の特徴マップから新たな特徴マップの値を求めます。」(山下、イラストで学ぶ~(2016))

・「…画像の解像度を落とす処理を行います。…画像の詳細をあえて消し去ることで、描かれている物体の本質的な特徴のみを抽出しようとする発想に基づきます。」(中井、Tensorflowで学ぶ〜、027)

 

◆オートエンコーダ

・主成分分析のようなもの

・「…エンコーディング…とデコーディング…を繰り返すうちに、いかに効率的に少ない情報量を経由してもとに戻せるかを学習していく。そして、答え合わせの成績がよいときに、隠れ層にできているものが、よい特徴表現なのだ。」(松尾、~人間を超えるか、p158) 

・「…ノイズを与え、それによって非常に頑健に主成分を取り出すことができる。」(松尾p158) 

・「高次の特徴量を使って表される概念を取り出す」(松尾、p162) 

・ノイズ、”絶対に間違いでない特徴量”を作る、高次化できる。

 

ドロップアウト

ニューロンを一部停止させランダムに欠落させる→「ある特徴量がほかの特徴量をカバーするように、最適化されていく。ある特徴量に過度に依存した特徴表現がなくなる。」(松尾、p172)

ニューラルネットワークをいじめて”本質的な特徴量”を抽出する。

 

◆パラメータ

・畳み込みニューラルネットワークには予め決めておくべきパラメータがたくさんある。

・「畳み込み層のフィルタサイズとフィルタ数」、「活性化関数の種類」、「プーリングの種類」、「層の構成(畳み込み層、全結合層の数など)」、「ドロップアウトの割合」、「前処理の有無」、「正規化の有無」、「ミニバッチのサイズ」、「学習係数」、「更新回数」、「事前学習の有無」(山下、イラストで学ぶ~(2016))

 

◆リカレントネットワーク(RNN)

・「過去の中間層の値を次の入力に再利用するニューラルネットワーク」(中井)

 

◆ 前処理

(1)平均値除去

・全体に明るさの変動を押さえたような画像になる

(2)正規化

・平均値除去よりも明るさのばらつきが小さくなる

(3)白色化

・相関の低い要素の情報が残り、画像の場合、エッジが強調されたようなものになる

 

◆学習率

・「一回の更新でパラメータをどの程度大きく修正するか」、「…値は、問題に応じてうまく選択する必要があり、…実践的なテクニックとなります。」(中井、035)

 

◆ほか

・one-of-K ベクトル・・・1つの要素だけ1となっているベクトル

 

広告を非表示にする