読者です 読者をやめる 読者になる 読者になる

oikakerublogの日記

知識ゼロから色々しらべてみた話し

◆用語&単語 etc

・broadcasting… 形状の違う配列どうしを計算。

・category表現…[0, 1, 2, 1, 0, 2]

・one-hot 表現[ 1., 0., 0.] 要素1つが1で他が全て0

 

・リスト…要素のシーケンス、挿入&削除ができる、ミュータブル

a=[1,2,3]
print(a)

=>

[1, 2, 3]

・タプル…イミュータブル、変更不可

a=(1,2,3)
print(a)

=>

(1, 2, 3)

 

パーセプトロン…重み設定の作業が人手。活性化関数がステップ関数。@魚本

ニューラルネットワークニューロンのつながり方はパーセプトロンと何ら変わりなし。多層で、シグモイド関数などの滑らかな活性化関数を使用するネットワーク。@魚本

 ・活性化関数…入力信号の総和がどのように活性化(発火)するかを決める役割りを果すもの。@魚本

・正規化(normalization)…データをある決まった範囲に変換する処理@魚本

 ・損失関数(loss function)…「ニューラルネットワークの学習では、最適なパラメータ(重みとバイアス)を探索する際に、損失関数の値ができるだけ小さくなるようなパラメータを探します。」2乗和誤差、交差エントロピー誤差などを用いる。「できるだけ小さな損失関数の場所を探すために、パラメータの微分(正確には勾配)を計算し、その微分の値を手がかりにパラメータの値を徐々に更新していきます。」@魚本

・2乗和誤差…「ニューラルネットワークの出力と正解となる教師データの各要素の差の2乗を計算し、その総和を求めます。」@魚本

偏微分…「…ある場所の傾きを求めます。ただし、…変数をひとつに絞り、他の変数はある値い固定します。」@魚本 

勾配…「すべての変数の偏微分をベクトルとしてまとめたもの」@魚本

勾配法…「勾配をうまく利用して関数の最小値(または、できるだけ小さな値)を探そう、というのが勾配法です。」@魚本

学習率(learning rate)…「1回の学習で、どれだけ学習すべきか、どれだけパラメータを更新するか、ということを決めるのが学習率です。」@魚本

ハイパーパラメータ…人の手によって設定されるパラメータ

誤差逆伝播…「局所的な微分」の伝達@魚本

広告を非表示にする