oikakerublogの日記

知識ゼロから色々しらべてみた話し

機械学習 Machine Learningの基本的な考え方(数学etc)

f:id:oikakerublog:20170904232517p:plain
◆目的:
・機械学習における数学的なモデルとか誤差関数、学習etcのキホンを確認。

◆機械学習の3ステップ
・数式モデル→誤差関数→パラメータ調整
f:id:oikakerublog:20170904233306p:plain

◆線形分離の例
・例えば感染or非感染を直線で分離する場合には、下記の式を使う。
f:id:oikakerublog:20170904233609p:plain

  y=ax+bのような形式ではない(x1とx2を対称に扱うためとのこと)

f:id:oikakerublog:20170904233815p:plain

● f(x1,x2)の関数の特徴
 - この値がゼロなら直線上。
 - 値が大きくなるほど直線から離れていく。

● このように用意した関数 f(x1,x2)と感染確率の関係は?

f:id:oikakerublog:20170904234257p:plain

・「×」側に離れると確率が1.0に近づき、「○」側に離れると0に近づくような関数σ(x)を使う。

f:id:oikakerublog:20170904234729p:plain

◆キーワード:
[機械学習、モデル、線形分離、loss function、パラメータ、感染確率P]

◆参考:
・中井悦司、「TensorFlowで学ぶディープラーニング」、マイナビ、22ページ

f:id:oikakerublog:20170905000948p:plain

(2017.9.4.)

Python XORゲートをSVMで学習させる(「Pythonによるスクレイピング&機械学習」150ページ)

f:id:oikakerublog:20170901125801j:plain

◆目的:
・XORゲートをSVMで学習させる。

◆XORゲート
・排他的論理和の論理ゲート。
f:id:oikakerublog:20170901133316p:plain

◆コード全体

#socym本の写経、p.150 2017-9-1
#サポートベクターマシンsvmのインポート
from sklearn import svm

#データの用意
xor_data = [
    [0, 0, 0],
    [0, 1, 1],
    [1, 0, 1],
    [1, 1, 0],
]

data = []
label =[]

#インプットと正解とを分ける 
#1行目から順に要素を抜きリストに追加していく(?)
for row in xor_data:
    x = row[0]
    y = row[1]
    z = row[2]
    data.append([x,y])
    label.append(z)

#どんな感じになっているか一旦表示
print("data の中身=>", data) 
print("labelの中身=>",label)

#svmアルゴリスム利用
#svmのオブジェクトを得て、fitメソッドでデータを学習
#fitメソッド・・・(データ配列,ラベル配列)
clf =  svm.SVC()
clf.fit(data,  label)

#データの予測
#predictメソッド・・・予測したいデータ配列を与えると、データの数だけ予測を返す
pred = clf.predict(data)
print("予測結果=", pred)

結果:
data の中身=> [[0, 0], [0, 1], [1, 0], [1, 1]]
labelの中身=> [0, 1, 1, 0]
予測結果= [0 1 1 0]

◆キーワード:
[scikit-learn、サイキットラーン、svm、fitメソッド、predictメソッド、機械学習、XOR演算]

◆参考:
・「Pythonによるスクレイピング&機械学習」、150頁~、ソシム本

f:id:oikakerublog:20170901135754p:plain

(2017.9.1.)

Python 関数について

f:id:oikakerublog:20170727125649p:plain
◆目的:
関数がどのようなものか確認する。

◆関数について
・書式

def 関数名(引数):
  処理


● returnって?
・関数の計算結果を返す。

例:関数 y=x^2 があるとして、x=1,2のときの出力の和 f(1)+f(2)を求める。

def f(x):
    return x ** 2

print (f(1)+f(2))

⇒ 出力:5

(画像参考)
f:id:oikakerublog:20170727132419p:plain

Tensorflow 計算のきほん

f:id:oikakerublog:20170708150244p:plain
◆目的:
・tensorflowでの計算の基本的な考え方を確認する

◆例:「a+b」の足し算をする
・例えば、

   10+20=30

  を計算させる。

・変数vを定義して"10+20"の値を代入して表示
・tensorflowでの処理の流れはこんな感じ

f:id:oikakerublog:20170726232015p:plain
◆コード(その1)

import tensorflow as tf

a = tf.constant(10)
b = tf.constant(20)
v = tf.Variable(0)

sum = a + b

assign = tf.assign(v, sum)#vに10+20の結果を代入している

sess = tf.Session()
sess.run(tf.global_variables_initializer())
sess.run(assign)

結果:
f:id:oikakerublog:20170726232128p:plain

◆コード(変数vを使わない単純な足し算)

import tensorflow as tf

a = tf.constant(10)
b = tf.constant(20)

sum = a + b

sess = tf.Session()
sess.run(sum)

結果:
f:id:oikakerublog:20170726232128p:plain

◆例:空の配列に数値データを与えて2倍にするプログラム
・プレースホルダにリストの値を与える。
f:id:oikakerublog:20170819185928p:plain

import tensorflow as tf

a = tf.placeholder(tf.int32,[3])#要素が3つの整数の配列
b = tf.constant(2);
enzan_x2 = a*b

sess = tf.Session()
r1 = sess.run(enzan_x2, feed_dict={ a:[10,15,30]})
print(r1)

結果:
[20 30 60]

※Memo:
・要素の数を「3」に固定したが、固定しない場合は”None”

tf.placeholder(tf.int32,[None])

◆参考:
・「Pythonによるスクレイピング&機械学習」、205頁-、ソシム

(2017.7.26.)
追記(2017.8.19.)

Python import文について

f:id:oikakerublog:20170724124339p:plain
◆import sysって?
・sysモジュール(様々な変数や関数が含まれている)をインポートしている。sysモジュール以下すべての変数&関数を“sys.を先頭に付ける形で利用できるようする。
・ちなみにimport文は、import {.pyを除いたファイル名}構文

>>>import sys


◆たとえばどんな感じ?

☞ print(sys.path)
・sys.pathはpythonパス(PYTHONPATH)をリストにして返す。絶対パスの文字列リスト。
・「path 変数は、モジュール検索パス、すなわちPythonがモジュールのインポート時にモジュールの検索対象とするディレクトリーのリストです。1個目の空文字列'' は、カレント・ディレクトリーを表します。」@IBMウェブサイト

>>>print(sys.path)


☞ print(sys.version)
・pythonやanacondaのバージョンを表示。

>>>print(sys.version)


◆とりあえず手を動かして"import"に慣れるコード書いてみる

f:id:oikakerublog:20170725002501p:plain
●目的:
・mainプログラムにmoduleプログラムを読み込んで動かす
・天気予報をランダムに表示 (O'REILLY入門Python3の139ページ)

f:id:oikakerublog:20170724235327p:plain

●予め用意するmoduleプログラム
・文字列のリストからランダムに1つを選択。
・tenkiyosoku.pyという名前で所定のディクトリに保存。
・なお、 randomモジュール&choice関数はputhon標準

def get_yosoku():
    from random import choice
    possibilities = ['晴れ','雨','曇り','雪']
    return choice(possibilities)

●mainプログラム
・moduleプログラムにアクセスし、その中のget_yosoku()関数を実行する。
・一行目を過ぎ一旦インポートされてしまえば、[moduleプログラム]名のプリフィックスを付けてmoduleプログラムの全ての部分にアクセスできる。

import tenkiyosoku

description = tenkiyosoku.get_yosoku()

print('実行のたびランダムに天気表示するよ:', description)

結果:
f:id:oikakerublog:20170725000005p:plain

◆ Memo:
・sys.path…中身はリスト。os.path…モジュール。
・参考にしたサイト IBMウェブサイト
https://www.ibm.com/developerworks/jp/linux/library/l-pyint/index.html

(2017.7.24.)

Tensorflow ORゲートのモデルの機械学習(詳解デープラーニング3章)

f:id:oikakerublog:20170708150244p:plain

◆目的:
・ORゲートの分離境界モデルを学習させる
・巣籠本(2017)の93ページ~

◆ORゲート
・いずれか一方の入力が1であれば、出力が1となる回路。

f:id:oikakerublog:20170717191625p:plain

・大まかな流れ

f:id:oikakerublog:20170717192051p:plain

◆実装:
(1)まずいつもの

import numpy as np
import tensorflow as tf

(2)パラメータの定義
・こんな感じ

f:id:oikakerublog:20170717193239p:plain

x = tf. placeholder(tf.float32, shape=[None, 2])
w = tf.Variable(tf.zeros([2,1]))
b = tf.Variable(tf.zeros([1]))
y = tf.nn.sigmoid(tf.matmul(x,w) + b)

tf. set_random_seed(0)#乱数シード

(3)学習のときに使うパラメータt

t = tf.placeholder(tf.float32, shape=[None, 1])

(4)誤差関数は交差エントロピー

cross_entropy  = - tf.reduce_sum(t * tf.log(y) + (1 -t) * tf.log(1-y))

(5)学習の式

train_step = tf.train.GradientDescentOptimizer(0.1).minimize(cross_entropy)

(6)予測

correct_prediction = tf.equal(tf.to_float(tf.greater(y,0.5)),t)

(7)X,Y

X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
Y = np.array([[0], [1], [1], [1]])

(8)初期化

init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)

(9)学習、200回まわす
・Tensorflowでは、Sessionで計算を実施

for epoch in range(200):
    sess.run(train_step, feed_dict={
        x: X,
        t: Y
    })

(10)学習結果の確認
・evalは発火/非発火の分類確認
⇔ tf.Variableの変数の値はevalでなくsess.run()で取得

classified = correct_prediction.eval(session=sess, feed_dict={
    x: X,
    t: Y
})
prob = y.eval(session=sess, feed_dict={
    x: X
})

print('classified:')
print(classified)
print()
print('output probability:')
print(prob)

(11)結果はこんな感じ↓
f:id:oikakerublog:20170717194926p:plain

・学習されたパラメータを確認
 縦ベクトルwの中の値2つが下記のように学習されたことが確認可能。

print('w:', sess.run(w))

→ w: [[ 3.61188436]
  [ 3.61188436]]

◆Memo:
・パラメータbの値…print('b:', sess.run(b))で確認できる。

◆キーワード:
ORゲート、分離境界、ランダム、乱数データ、学習率、学習されたパラメータの確認

** 以上 **

(2017.7.17.)

Matplotlibに慣れる(データのプロット、グラフ表示etc)

f:id:oikakerublog:20170711130847p:plain
◆目的:
データのプロットやグラフを表示する

◆練習いろいろ
1. グラフの表示etc
(1)10個の乱数データを生成してグラフにプロットする。

import numpy as np
import matplotlib.pyplot as plt

・乱数の生成、分散図、ラベル

#.randは0~1の範囲で乱数生成

x = np.random.rand(10)
y = np.random.rand(10)

plt.scatter(x, y)
plt.xlabel("X"), plt.ylabel("Y")

plt.show()

f:id:oikakerublog:20170711131309p:plain
(2)折れ線
・分散図 scatterではなく、次のようにすると折れ線になる。

plt.plot(x, y)
plt.show()

f:id:oikakerublog:20170711132301p:plain

2. 数式→表示
(1)1次関数

def formura(x):  
    return 2*x + 50

x = np.arange(-10.0, 10.0, 1.0) #マイナス10からプラス10まで1刻み
y = formura(x)

plt.plot(x,y)
plt.show()

f:id:oikakerublog:20170711135528p:plain
(2)アークタンジェント

x = np.arange(-10, 10, 0.1)
y = np.arctan(x)

plt.plot(x, y)

f:id:oikakerublog:20170711141229p:plain
(3) 二次関数 y=x^2

x = np.arange(-9.5, 10, 0.5)
y = x ** 2
 
plt.figure()
plt.xlim(-10.0, 10.0)
plt.ylim(-10, 100.0)

plt.grid(True)

plt.plot(x, y)
plt.show()

f:id:oikakerublog:20170727132031p:plain

(3)y=logx 自然対数
・Cf. 交差エントロピー誤差

x = np.arange(0,0.99,0.01)
y = -np.log(x)

plt.plot(x,y)
plt.show()

f:id:oikakerublog:20170905181512p:plain

**追加予定**

◆Memo:
(1)jupyter notebookでノート上にグラフ表示
・インライン表示の一文をいれておく

%matplotlib inline

(2)画像の保存etc

plt.savefig('./graph.png', dpi=100)


◆キーワード:
python、matplotlib、pandas、データプロット、データ表示、分散図、グラフ

Chainer インストール〜サンプルプログラムの実行

【MacOS、Sierra、Chainer、wget1.16、インストール】

f:id:oikakerublog:20170706192912p:plain

◆ 目的(その1):
Chainerをインストールしてサンプルプログラムを動かすところまで。

1. Chainerをインストール
・chainer 2.0.0

$ pip install chainer

2. Chainer公式サンプルプログラムを実行
(1)サンプルプログラム実行のコマンドにwgetというのが出てくるけど、mac ターミナルでは”wget”コマンドが使えないようなので対処

まず、wgetが既に入っているかを確認。

$ which wget

→ 対処
・Homebrewのインストール(公式ホームページ)

$ /usr/bin/ruby -e "$(curl -fsSL https://
   raw.githubusercontent.com/Homebrew/install/master/install)"

以下がインストールされる
/usr/local/share/doc/homebrew
/usr/local/share/man/man1/brew.1
/usr/local/share/zsh/site-functions/_brew
/usr/local/etc/bash_completion.d/brew
/usr/local/Homebrew

・brew install でwgetを入れる

$ brew install wget

⇒ 解決

(2)Chainer公式のサンプルプログラム実行
・MNISTの識別のプログラムらしい..

wget https://github.com/pfnet/chainer/archive/v2.0.0.tar.gz
tar xzf v2.0.0.tar.gz
python chainer-2.0.0/examples/mnist/train_mnist.py

MacBookAirではエポックを回すのにかなり時間がかかるけど、一応、少しずつ精度が上がっていっている模様。

f:id:oikakerublog:20170706204648p:plain

**以上**

※ 参考にしたサイト
Homebrew — macOS 用パッケージマネージャー
Macにwgetコマンドをインストールしてみる - kengo92iの日記


◆ 目的(その2):
・WindowsにChainerをインストールする
f:id:oikakerublog:20170725235915p:plain
→ 仮想環境VirturalBoxにUbuntuを入れて実行する とのこと

   (追記予定...)

Tensorflow ロジスティック回帰による二項分類器(マイナビ本参考)

f:id:oikakerublog:20170708150244p:plain

f:id:oikakerublog:20170706193212p:plain

◆ 目的:
ウィルスの感染を分類する、したい。

◆ キーワード:
ロジスティック回帰、二項分類器、境界線、直線、確率0.5、シグモイド関数、データのランダム生成、確率の最大化、最尤推定法、統計学、誤差関数、log、pandas、DateFrame、行列T、ブロードキャスト、グラフの描画、濃淡、スパム、感染非感染、学習


・まずは、インポート・準備

# ロジスティック回帰の二項分類器、65頁参考

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

# 乱数を使ってデータ生成、pandasのデータフレームとして格納

from numpy.random import multivariate_normal, permutation
import pandas as pd
from pandas import DataFrame, Series

・感染データ/非感染データを作る

# データを用意
# 感染していないデータ(t=0)の生成

np.random.seed(20170602)

n0, mu0, variance0 = 20, [10, 11], 20
data0 = multivariate_normal(mu0, np.eye(2)*variance0 ,n0)
df0 = DataFrame(data0, columns=['x1','x2'])
df0['t'] = 0

# 感染しているデータ(t=1)の生成
n1, mu1, variance1 = 15, [18, 20], 22
data1 = multivariate_normal(mu1, np.eye(2)*variance1 ,n1)
df1 = DataFrame(data1, columns=['x1','x2'])
df1['t'] = 1

df = pd.concat([df0, df1], ignore_index=True)

# データセット
# 上で生成したデータを表示して内容を確認、35コのサンプルデータ

train_set = df.reindex(permutation(df.index)).reset_index(drop=True)
train_set


f:id:oikakerublog:20170602125115p:plain

・変数を定義

# Tensorflowで計算できるようにデータを変形
# numpyのarrayオブジェクトとして変数に格納
# X・・・(x1n、x2n)の行列 、 t・・・正解ラベル

train_x = train_set[['x1','x2']].as_matrix()
train_t = train_set['t'].as_matrix().reshape([len(train_set),1])

# Step1_予測のための数式定義
# 確率Pを行列形式で計算
# f = x*w + w0
# 入力データは35行2列 but Noneでサイズ規定
# wは、w = (w1,w2)T 転置 ・・・横のw1、w2を縦に並べている 2行1列
# w0は、ブロードキャスト・・・1次元リストでも足せる
# tf.sigmoidはそれぞれの入力に対するシグモイド関数の一次元リスト

x = tf.placeholder(tf.float32, [None, 2])
w = tf.Variable(tf.zeros([2,1]))
w0 = tf.Variable(tf.zeros([1]))

f = tf.matmul(x,w) + w0

p = tf.sigmoid(f)

・誤差関数を定義

# Step2_誤差関数定義
# 数式自体は-logPを掛け合わていくような複雑なやつ,Σで表現@p70
# tf. reduce_sumは和集約

t= tf.placeholder(tf.float32, [None, 1])
loss = -tf.reduce_sum(t*tf.log(p) + (1-t)*tf.log(1-p))

# アダムオプティマイザーで上で定義したloss関数を最小化していく

train_step = tf.train.AdamOptimizer().minimize(loss)

・予測

# 正解or不正解の分別 Pn>=0.5であればt=1
#  tf.sign  符号を取り出す関数
# tf.equal  引数が等しいかを判定する関数 Bool値を返す
# ブロードキャストルールによって、Bool値の縦ベクトルが生成される

correct_prediction = tf.equal(tf.sign(p-0.5), tf.sign(t-0.5))

# tf.cast  Bool値を1,0の値に変換
# tf.reduce_mean  ベクトルの各成分の平均値、正解なら1、不正解なら0

accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

# パラメータの最適化
sess = tf.Session()
sess.run(tf.global_variables_initializer())

・勾配降下法

# 勾配降下法 20000回繰り返し

i = 0
for _ in range(20000):
    i += 1
    sess.run(train_step, feed_dict={x:train_x, t:train_t})
    
    if i % 2000 == 0:
        loss_val, acc_val = sess.run([loss, accuracy], feed_dict={x:train_x, t:train_t})
        print('Step: %d, Loss %f, Accuracy: %f' % (i, loss_val, acc_val))

(out)
Step: 2000, Loss 16.098034, Accuracy: 0.857143
Step: 4000, Loss 12.176691, Accuracy: 0.885714
Step: 6000, Loss 9.802266, Accuracy: 0.914286
Step: 8000, Loss 8.280571, Accuracy: 0.914286
Step: 10000, Loss 7.283283, Accuracy: 0.914286
Step: 12000, Loss 6.632703, Accuracy: 0.914286
Step: 14000, Loss 6.220951, Accuracy: 0.914286
Step: 16000, Loss 5.976564, Accuracy: 0.914286
Step: 18000, Loss 5.848728, Accuracy: 0.914286
Step: 20000, Loss 5.797661, Accuracy: 0.942857

# Variableの値を取得
# w0・・・1要素のみのリスト
# w ・・・2行1列の行列
# [0][0]は一行目を取り出し、[1][0]は2行目を取り出し

w0_val, w_val = sess.run([w0, w])
w0_val, w1_val, w2_val = w0_val[0], w_val[0][0], w_val[1][0]

print (w0_val, w1_val, w2_val)
-14.9617 0.322867 0.617867

# 結果をグラフに表示
# 境界線は、P(x1,x2)=0.5 の確率
# シグモイド関数はロジスティック関数とも。ロジスティック回帰。

#トレーニングセットのデータからt=0、1のデータを個別に取出し

train_set0 = train_set[train_set['t']==0]
train_set1 = train_set[train_set['t']==1]

# 散布図の記号etc

fig = plt.figure(figsize=(6,6))
subplot = fig.add_subplot(1,1,1)
subplot.set_ylim([0,30])
subplot.set_xlim([0,30])
subplot.scatter(train_set1.x1, train_set1.x2, marker='x')
subplot.scatter(train_set0.x1, train_set0.x2, marker='o')

・グラフの細かい描画設定

# 境界線の直線の描画

linex = np.linspace(0,30,10)
liney = - (w1_val*linex/w2_val + w0_val/w2_val)

subplot.plot(linex, liney)

# 確率の変化を濃淡で示す
# (x1,x2)平面を100x100のセルに分割
# それぞれのセルの確率P(x1、x2)の値を2次元リスト filedに格納 濃淡表示

field = [[(1 / (1 + np.exp(-(w0_val + w1_val* x1 + w2_val*x2))))
         for x1 in np.linspace(0,30,100)]
        for x2 in np.linspace(0,30,100)]

subplot.imshow(field, origin= 'lower', extent = (0,30,0,30), cmap=plt.cm.gray_r, alpha=0.5)

plt.show()

Tensorflow 身長・体重・BMIの学習(ソシム本、218ページ)

# 2017-5-21 ソシム スクレイピング本
# 218ページ〜 BMI計算、CSVファイル
# 予め用意したCSVファイルを使って、BMI分類を学習
# 交差エントロピ、ソフトマックス、勾配法

import pandas as pd
import numpy as np
import tensorflow as tf

# 身長,体重,ラベルのCSVデータを読み出す 
# pandas でCSVファイル読み出し
csv = pd.read_csv("bmi.csv")

# データを正規化 、0〜1に
csv["height"] = csv["height"] / 200
csv["weight"] = csv["weight"] / 100

# ラベルを三次元のクラスで表す --- (※3)
# 痩せ、普通、肥満を3つの三次元クラスデータで表す
# thin=(1,0,0) / normal=(0,1,0) / fat=(0,0,1)

bclass = {"thin": [1,0,0], "normal": [0,1,0], "fat": [0,0,1]}
csv["label_pat"] = csv["label"].apply(lambda x : np.array(bclass[x]))

# 正解率を求めるためにテストデータを準備 
# 2万件のうち末尾5000件をテストデータにする

test_csv = csv[15000:20000]
test_pat = test_csv[["weight","height"]]
test_ans = list(test_csv["label_pat"])

# データフローグラフを構築する
# データを入れるプレースホルダを宣言

x  = tf.placeholder(tf.float32, [None, 2]) # 身長,体重のデータを入れる
y_ = tf.placeholder(tf.float32, [None, 3]) # 答えのラベルを入れる

# 変数を宣言 --- (※6)
W = tf.Variable(tf.zeros([2, 3])); # 重み
b = tf.Variable(tf.zeros([3])); # バイアス

# ソフトマックス回帰を定義 
# y=softmax(Wb+b)
y = tf.nn.softmax(tf.matmul(x, W) + b)

# モデルを訓練する
cross_entropy = -tf.reduce_sum(y_ * tf.log(y))

# 降下法でWやbを学習する、tfに用意されているもの
optimizer = tf.train.GradientDescentOptimizer(0.01)
train = optimizer.minimize(cross_entropy)

# 正解率を求める
# 誤差関数:交差エントロピー
# SummaryWriter

predict = tf.equal(tf.argmax(y, 1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(predict, tf.float32))

# セッションを開始
sess = tf.Session()
sess.run(tf.global_variables_initializer()) #変数を初期化

# テストデータを用いて学習させる、100件ずつ3500回学習
# 最初30%くらいの正解率が、95%くらいまで向上

print("- トレーニング中 -")

for step in range(3500):
    i = (step * 100) % 14000
    rows = csv[1 + i : 1 + i + 100]
    x_pat = rows[["weight","height"]]
    y_ans = list(rows["label_pat"])
    fd = {x: x_pat, y_: y_ans}
    sess.run(train, feed_dict=fd)
    if step % 500 == 0:
        cre = sess.run(cross_entropy, feed_dict=fd)
        acc = sess.run(accuracy, feed_dict={x: test_pat, y_: test_ans})
    
        print("step=", step, "cre=", cre, "acc=", acc)

# =>
- トレーニング中 -
step= 0 cre= 109.101 acc= 0.3084
step= 500 cre= 52.4673 acc= 0.8688
step= 1000 cre= 46.4283 acc= 0.9226
step= 1500 cre= 38.8364 acc= 0.9472
step= 2000 cre= 35.4385 acc= 0.9588
step= 2500 cre= 31.0386 acc= 0.9494
step= 3000 cre= 31.2941 acc= 0.9532

# 最終的な正解率を求める

acc = sess.run(accuracy, feed_dict={x: test_pat, y_: test_ans})

print("正解率=", acc)
# =>
正解率= 0.966

Tensorflow オートエンコーダでmnistを学習(Qiita記事を見ながら..)

f:id:oikakerublog:20170708150244p:plain

◆目的:
・mnistデータをオートエンコーダで学習してみる。

f:id:oikakerublog:20170711201144p:plain

◆キーワード:
・Tensorflow、オートエンコーダ、エンコード/デコード、mnist

・まず読込み。tensorflowのチュートリアル。mnistデータをダウンロード。

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
import matplotlib.pyplot as plt
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

・ニューラルネットワークの構造、ハイパーパラメータを決める。

h = 50
batch_size = 100
dropout_rate = 0.5

・重みやバイアスの定義

def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)

def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)
    return tf.Variable(initial)

・入力層を定義、データが入るところなので”placeholder”で。

x = tf.placeholder(tf.float32, [None, 784])

・隠れ層(W、b1)

W = weight_variable((784, h))
b1 = bias_variable([h])

・隠れ層の活性化関数はソフトサイン関数

h = tf.nn.softsign(tf.matmul(x, W) + b1)
keep_prob = tf.placeholder("float")
h_drop = tf.nn.dropout(h, keep_prob)

・出力層、変数、W2は転置、ReLu関数
・tf.transposeの例 こんな感じで行↔列が入れ替えられる

f:id:oikakerublog:20170710161829p:plain

W2 = tf.transpose(W)
b2 = bias_variable([784])

y = tf.nn.relu(tf.matmul(h_drop, W2) + b2)

・損失関数

loss = tf.nn.l2_loss(y - x) / batch_size

・adamオプティマイザー、初期化、

train_step = tf.train.AdamOptimizer().minimize(loss)
init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)

・トレーニング

for step in range(5000):
    batch_xs, batch_ys = mnist.train.next_batch(batch_size)
    sess.run(train_step, feed_dict={x: batch_xs, keep_prob: (1-dropout_rate)})
    
    # Collect Summary
    summary_op = tf.merge_all_summaries()
    
    # Print Progress
    if step % 200 == 0:
        print(loss.eval(session=sess, feed_dict={x: batch_xs, keep_prob: 1.0}))

⇒ 問題!
”module 'tensorflow' has no attribute 'merge_all_summaries'”のエラー

⇒ 対処
・記述を一部修正

 tf.summary.merge_all

実行すると、誤差関数の値が順次更新(下がっていく)

 38.9383
 11.8077
 9.61637

 …略…

 6.01636
 6.32462
 5.61356

・結果の出力

N_COL = 5
N_ROW = 1

plt.figure(figsize=(N_COL, N_ROW*2.5))
batch_xs, _ = mnist.train.next_batch(N_COL*N_ROW)
for row in range(N_ROW):
    for col in range(N_COL):
        i = row*N_COL + col
        data = batch_xs[i:i+1]

        # Draw Input Data(x)
        plt.subplot(2*N_ROW, N_COL, 2*row*N_COL+col+1)
        plt.imshow(data.reshape((28, 28)), cmap="gray", clim=(0, 1.0), origin='upper')
        plt.tick_params(labelbottom="off")
        plt.tick_params(labelleft="off")

        # Draw Output Data(y)
        plt.subplot(2*N_ROW, N_COL, 2*row*N_COL + N_COL+col+1)
        y_value = y.eval(session=sess, feed_dict={x: data, keep_prob: 1.0})
        plt.imshow(y_value.reshape((28, 28)), cmap="gray", clim=(0, 1.0), origin='upper')
        plt.tick_params(labelbottom="off")
        plt.tick_params(labelleft="off")

plt.savefig("result.png")
plt.show()

f:id:oikakerublog:20170711185518p:plain

**以上**

◆ 参考にした記事
http://qiita.com/mokemokechicken/items/8216aaad36709b6f0b5c

Python MLP 3層ニューラルネットワークの実装(Qiita記事を見ながらの写経)

◆ 参考とした記事「ディープじゃないディープラーニングをNumPyのみで超簡単実装してみた」
☞ フィッシャーのあやめデータセット使用する。
 ※3種類のあやめに関し、ガクの長さ、幅、花弁の長さ、幅等を測定したデータ
f:id:oikakerublog:20170519140847p:plain

# Qiita ディープじゃないディープラーニング
# 2017-5-19 numpyMLPでアイリスデータを学習

import numpy as np

# ハイパーパラメータ

TRAIN_DATA_SIZE = 50  # 150個のデータのうちTRAIN_DATA_SIZE個を訓練データとして使用。残りは教師データとして使用。
HIDDEN_LAYER_SIZE = 6  # 中間層(隠れ層)のノード数(1層なのでスカラー)
LEARNING_RATE = 0.1  # 学習率
ITERS_NUM = 1000  # 繰り返し回数
DELTA = 0.01

# データを読み込み
# デフォルトで'#'の行を飛ばすようになっている

x = np.loadtxt('iris.tsv', delimiter='\t', usecols=(0, 1, 2, 3))
raw_t = np.loadtxt('iris.tsv', dtype=int, delimiter='\t', usecols=(4,))
onehot_t = np.zeros([150, 3])
for i in range(150):
    onehot_t[i][raw_t[i]] = 1

train_x = x[:TRAIN_DATA_SIZE]
train_t = onehot_t[:TRAIN_DATA_SIZE]
test_x = x[TRAIN_DATA_SIZE:]
test_t = onehot_t[TRAIN_DATA_SIZE:]

# 重み・バイアス初期化
W1 = np.random.randn(4, HIDDEN_LAYER_SIZE) * np.sqrt(2 / 4)  # Heの初期値(ReLUのときはこれを使う)
W2 = np.random.randn(HIDDEN_LAYER_SIZE, 3) * np.sqrt(2 / HIDDEN_LAYER_SIZE)
b1 = np.zeros(HIDDEN_LAYER_SIZE)  # 初期値ゼロ ※ゼロから作るDeep Learningを見てこうしたので理由はわからない
b2 = np.zeros(3)

# ReLU関数
def relu(x):
    return np.maximum(x, 0)

# Softmax関数
def softmax(x):
    e = np.exp(x - np.max(x))
    if e.ndim == 1:
        return e / np.sum(e, axis=0)
    elif e.ndim == 2:
        return e / np.array([np.sum(e, axis=1)]).T
    else:
        raise ValueError

# 交差エントロピー誤差
def cross_entropy_error(y, t):
    if y.shape != t.shape:
        raise ValueError
    if y.ndim == 1:
        return - (t * np.log(y)).sum()
    elif y.ndim == 2:
        return - (t * np.log(y)).sum() / y.shape[0]
    else:
        raise ValueError

# 順伝搬
def forward(x):
    global W1, W2, b1, b2
    return softmax(np.dot(relu(np.dot(x, W1) + b1), W2) + b2)

# テストデータの結果
test_y = forward(test_x)
print((test_y.argmax(axis=1) == test_t.argmax(axis=1)).sum(), '/', 150 - TRAIN_DATA_SIZE)

# =>
35 / 100

# 学習ループ
for i in range(ITERS_NUM):
    # 順伝搬withデータ保存
    y1 = np.dot(train_x, W1) + b1
    y2 = relu(y1)
    train_y = softmax(np.dot(y2, W2) + b2)

    # 損失関数計算
    L = cross_entropy_error(train_y, train_t)

    if i % 100 == 0:
        print(L)

    # 勾配計算
    # 計算グラフで求めた式を使用
    a1 = (train_y - train_t) / TRAIN_DATA_SIZE
    b2_gradient = a1.sum(axis=0)
    W2_gradient = np.dot(y2.T, a1)
    a2 = np.dot(a1, W2.T)
    a2[y1 <= 0.0] = 0
    b1_gradient = a2.sum(axis=0)
    W1_gradient = np.dot(train_x.T, a2)

    # パラメータ更新
    W1 = W1 - LEARNING_RATE * W1_gradient
    W2 = W2 - LEARNING_RATE * W2_gradient
    b1 = b1 - LEARNING_RATE * b1_gradient
    b2 = b2 - LEARNING_RATE * b2_gradient

# =>
7.67570464895
0.393484233191
0.282570757345
0.197404306772
0.131109443642
0.0944027334525
0.069999080593
0.0396633772518
0.0309149715653
0.0261644638179

# 最終訓練データのL値
L = cross_entropy_error(forward(train_x), train_t)
print(L)

# テストデータの結果、正解率

test_y = forward(test_x)
print((test_y.argmax(axis=1) == test_t.argmax(axis=1)).sum(), '/', 150 - TRAIN_DATA_SIZE)
0.022632216217

# =>
97 / 100

Python 手書き文字mnistに触ってみる(その2)

◆Scikit learnの8x8digitを触ってみる @ 2017-5-14

# Scikit learnではじめる機械学習 p.223@Pythonの教科書
# Scikit learnは予めダウンロード      2017-5-14

from sklearn import datasets
# sklのデータセット読込み
digits = datasets.load_digits()

# imageプロパティ、、、画像のピクセルデータ
print(digits.images[15])
# targetプロパティ、、、ラベル情報
print('正解ラベル -', digits.target[15])

# とりあえず1つ選ぶ これを下で描画
selecteddata = digits.images[5]


# 描画コード、cm ??
# plt.imshow(対象データ、形状、cmap、インターポレーション)

from matplotlib import pyplot as plt, cm

plt.imshow(selecteddata.reshape(8,8), cmap=cm.gray_r, interpolation='nearest')
plt.show()

[[ 0. 5. 12. 13. 16. 16. 2. 0.]
[ 0. 11. 16. 15. 8. 4. 0. 0.]
[ 0. 8. 14. 11. 1. 0. 0. 0.]
[ 0. 8. 16. 16. 14. 0. 0. 0.]
[ 0. 1. 6. 6. 16. 0. 0. 0.]
[ 0. 0. 0. 5. 16. 3. 0. 0.]
[ 0. 1. 5. 15. 13. 0. 0. 0.]
[ 0. 4. 15. 16. 2. 0. 0. 0.]]
正解ラベル - 5
f:id:oikakerublog:20170514190511p:plain