読者です 読者をやめる 読者になる 読者になる

oikakerublogの日記

知識ゼロから色々しらべてみた話し

TensorFlow 触りはじめ

◆tensorflow動作テスト用のプログラム

(1)”Hello World!”を表示させる

import tensorflow as tf

hello = tf.constant('hello World!')
sess = tf.Session()

print(sess.run(hello))

(2)単純な行列計算をするプログラム

# XとYの積を求めるプログラム
import tensorflow as tf

X = tf.constant([[3.,3.]]) 
Y = tf.constant([[2.],[2.]])

# XとYの積を計算するノードを作成
node = tf.matmul(X, Y)

# 実行する
sess = tf.Session()
result = sess.run(node)

print(result) # [[12.]]

(3)mnistデータからランダムに10個取り出し、表示する

# tensorflowでmnistデータをさわる、10個ランダム抽出、表示
import numpy as np
import matplotlib.pyplot as plt
from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets("/tmp/data/", one_hot=True)

# 10個のデータを取り出す、変数mnistのメソッド
images, labels = mnist.train.next_batch(10)

# 1つ目のデータ内容を表示、ラベル&中身
print(labels[0])
print(images[0])

#  取り出した10個を画像として表示
fig = plt.figure(figsize=(8,4))
for c, (image, label) in enumerate(zip(images, labels)):
    subplot = fig.add_subplot(2,5,c+1)
    subplot.set_xticks([])
    subplot.set_yticks([])
    subplot.set_title('%d' % np.argmax(label))
    subplot.imshow(image.reshape((28,28)), vmin=0,vmax=1, cmap=plt.cm.gray_r, interpolation="nearest")
plt.show()

# Extracting /tmp/data/train-images-idx3-ubyte.gz
# Extracting /tmp/data/train-labels-idx1-ubyte.gz
# Extracting /tmp/data/t10k-images-idx3-ubyte.gz
# Extracting /tmp/data/t10k-labels-idx1-ubyte.gz
# [ 0.  0.  0.  0.  0.  0.  1.  0.  0.  0.]
# [ 0.          0.          0.          0.          0.          0.          0.

f:id:oikakerublog:20170505223703p:plain

・”imshow”メソッド・・・画像を表示
・”cmap=plt.cm.gray_r”・・・グレースケールで表示
・”vmin””vmax”・・・濃度の最大値/最小値、濃淡を適切に調整
・”interpolation="nearest"”・・・画像を滑らかに表示する機能を無効化

(4)Tensorflowでmnistのトレーニング、正解&不正解のサンプルを表示

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
from tensorflow.examples.tutorials.mnist import input_data

np.random.seed(20160604) 
mnist = input_data.read_data_sets("temp/data",one_hot=True)

# ある領域に属する確率を計算する数式の実装
x = tf.placeholder(tf.float32, [None, 784])

w = tf.Variable(tf.zeros([784,10]))
w0 = tf.Variable(tf.zeros([10]))

f = tf.matmul(x, w) + w0
p = tf.nn.softmax(f)

# 誤差関数
t = tf.placeholder(tf.float32,[None, 10])
loss = -tf.reduce_sum(t * tf.log(p))
train_step = tf.train.AdamOptimizer().minimize(loss)
# 正解率の関係式
correct_prediction = tf.equal(tf.argmax(p, 1), tf.argmax(t, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

# 正解率の関係式
correct_prediction = tf.equal(tf.argmax(p, 1), tf.argmax(t, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

# 勾配効果法、2000回、誤差関数、正解率
i = 0
for _ in range (2000):
    i += 1
    batch_xs, batch_ts = mnist.train.next_batch(100)
    sess.run(train_step, feed_dict={x: batch_xs, t: batch_ts})
    if i % 100 == 0:
        loss_val, acc_val = sess.run([loss,accuracy], feed_dict={x:mnist.test.images, t:mnist.test.labels})
        print('Step: %d, Loss: %f, Accuracy: %f' % (i, loss_val, acc_val))
# 正解した文字と不正解だった文字のサンプルを表示
images, labels = mnist.test.images, mnist.test.labels
p_val = sess.run(p, feed_dict={x:images, t: labels})

fig = plt.figure(figsize=(8,15))

for i in range(10):
    c = 1
    for (image, label, pred) in zip(images, labels, p_val):
        prediction, actual = np.argmax(pred), np.argmax(label)
        if prediction != i:
            continue
        if (c < 4 and i == actual) or (c >=4 and i != actual):
            subplot = fig.add_subplot(10,6,i*6+c)
            subplot.set_xticks([])
            subplot.set_yticks([])
            subplot.set_title('%d / %d' % (prediction, actual))
            subplot.imshow(image.reshape((28,28)), vmin=0,vmax=1, cmap=plt.cm.gray_r, interpolation="nearest")
            c += 1
            if  c >6:
                break
plt.show()

f:id:oikakerublog:20170506130905p:plain

(5)ニューラルネットワークによる手書き文字認識

# 20170512 マイナビtf本、単相ニューラルネットワークの構造、113ページから
# 勾配降下法を使った学習で97%くらいまで識別力上げる。ソフトマックスだけでは92%程度。
# [MSL-01] 必要なモジュールをインポートして、乱数のシードを設定。再現性乱数。

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
from tensorflow.examples.tutorials.mnist import input_data
In [7]:
# 隠れ層のパラメータを乱数で初期化
np.random.seed(20160612)
tf.set_random_seed(20160612)
In [8]:
# [MSL-02] MNISTのデータセットを用意、 ダウンロード始まる
mnist = input_data.read_data_sets("/tmp/data/", one_hot=True)
Successfully downloaded train-images-idx3-ubyte.gz 9912422 bytes.
Extracting /tmp/data/train-images-idx3-ubyte.gz
Successfully downloaded train-labels-idx1-ubyte.gz 28881 bytes.
Extracting /tmp/data/train-labels-idx1-ubyte.gz
Successfully downloaded t10k-images-idx3-ubyte.gz 1648877 bytes.
Extracting /tmp/data/t10k-images-idx3-ubyte.gz
Successfully downloaded t10k-labels-idx1-ubyte.gz 4542 bytes.
Extracting /tmp/data/t10k-labels-idx1-ubyte.gz
In [10]:
# [MSL-03] 単層ニューラルネットワークを用いた確率 p の計算式を用意

# 隠れ層のノード数
num_units = 1024

# xは入力層のデータに対するプレースホルダ
x = tf.placeholder(tf.float32, [None, 784])

# 変数、num_unitsの方は上の1024が入る
# truncatedはTensorを正規分布かつ標準偏差の2倍までのランダムな値で初期化
#  tf.zeros はゼロの配列をつくる
w1 = tf.Variable(tf.truncated_normal([784, num_units]))
b1 = tf.Variable(tf.zeros([num_units]))

# 隠れ層はReLU関数
hidden1 = tf.nn.relu(tf.matmul(x, w1) + b1)

# ソフトマックス、確率計算
w0 = tf.Variable(tf.zeros([num_units, 10]))
b0 = tf.Variable(tf.zeros([10]))
p = tf.nn.softmax(tf.matmul(hidden1, w0) + b0)
In [11]:
# [MSL-04] 誤差関数 loss、トレーニングアルゴリズム train_step、正解率 accuracy を定義
t = tf.placeholder(tf.float32, [None, 10])

# 要素の和、スカラー値を返す
loss = -tf.reduce_sum(t * tf.log(p))

# アダムオプティマイザ, argmaxは添字返す
train_step = tf.train.AdamOptimizer().minimize(loss)
correct_prediction = tf.equal(tf.argmax(p, 1), tf.argmax(t, 1))

# reduce meanは平均値で縮約
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
In [13]:
# [MSL-05] セッションを用意して、Variableを初期化
sess = tf.InteractiveSession()
sess.run(tf.global_variables_initializer())
In [14]:
# [MSL-06] パラメーターの最適化を2000回
#1回の処理はトレーニングセットから取り出した100個のデータ、勾配降下法
i = 0
for _ in range(2000):
    i += 1
    
    batch_xs, batch_ts = mnist.train.next_batch(100)
    sess.run(train_step, feed_dict={x: batch_xs, t: batch_ts})
    
    if i % 100 == 0:
        loss_val, acc_val = sess.run([loss, accuracy],
            feed_dict={x:mnist.test.images, t: mnist.test.labels})
        
        print ('Step: %d, Loss: %f, Accuracy: %f'
               % (i, loss_val, acc_val))
# [MSL-07] 最適化されたパラメーターを用いて、テストセットに対する予測を表示
images, labels = mnist.test.images, mnist.test.labels
p_val = sess.run(p, feed_dict={x:images, t: labels}) 

fig = plt.figure(figsize=(8,15))
for i in range(10):
    c = 1
    for (image, label, pred) in zip(images, labels, p_val):
        prediction, actual = np.argmax(pred), np.argmax(label)
        if prediction != i:
            continue
        if (c < 4 and i == actual) or (c >= 4 and i != actual):
            subplot = fig.add_subplot(10,6,i*6+c)
            subplot.set_xticks([])
            subplot.set_yticks([])
            subplot.set_title('%d / %d' % (prediction, actual))
            subplot.imshow(image.reshape((28,28)), vmin=0, vmax=1,
                           cmap=plt.cm.gray_r, interpolation="nearest")
            c += 1
            if c > 6:
                break
plt.show()

Step: 100, Loss: 2637.275391, Accuracy: 0.922400
Step: 200, Loss: 2196.073730, Accuracy: 0.934600
Step: 300, Loss: 1894.907593, Accuracy: 0.943000
Step: 400, Loss: 1874.442261, Accuracy: 0.942300
Step: 500, Loss: 1435.872070, Accuracy: 0.955700
Step: 600, Loss: 1302.952026, Accuracy: 0.960900
Step: 700, Loss: 1310.853516, Accuracy: 0.959800
Step: 800, Loss: 1230.490479, Accuracy: 0.962600
Step: 900, Loss: 1266.093140, Accuracy: 0.960800
Step: 1000, Loss: 1179.594116, Accuracy: 0.963500
Step: 1100, Loss: 1213.116699, Accuracy: 0.962700
Step: 1200, Loss: 1051.569458, Accuracy: 0.968900
Step: 1300, Loss: 1070.601318, Accuracy: 0.967900
Step: 1400, Loss: 1014.479492, Accuracy: 0.968400
Step: 1500, Loss: 1074.788818, Accuracy: 0.968700
Step: 1600, Loss: 1001.342285, Accuracy: 0.970600
Step: 1700, Loss: 944.826172, Accuracy: 0.973300
Step: 1800, Loss: 1006.114258, Accuracy: 0.969500
Step: 1900, Loss: 1133.716919, Accuracy: 0.966000
Step: 2000, Loss: 1004.364990, Accuracy: 0.970000

(6)畳み込みフィルタの写経、特徴抽出
『Tensorflowで学ぶディープラーニング本』の161ページ〜
・本はpython2.7で書かれているので少し修正、githubからデータセットを予めダウンロード
エンコーディングの指定をしないとエラーが出る

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
import pickle

with open('ORENIST.data', 'rb')  as file:
    images, labels = pickle.load(file, encoding='latin1')

・読み込んだデータの一部を表示

fig = plt.figure(figsize=(10,5))
for i in range(40):
    subplot = fig.add_subplot(4, 10, i+1)
    subplot.set_xticks([])
    subplot.set_yticks([])
    subplot.set_title('%d' % np.argmax(labels[i]))
    subplot.imshow(images[i]. reshape(28,28),vmin=0,vmax=1,cmap=plt.cm.gray_r, interpolation='nearest')
plt.show()

f:id:oikakerublog:20170506201414p:plain

◆mnistのトレーニングデータからランダムに10個抽出する(準備)
・np.random.choice(*,*)

mport sys, os
sys.path.append(os.pardir)
from dataset.mnist import load_mnist
import numpy as np

# y_trainはラベル0〜9、ワンホットにすることで正解の1つだけ1になる
(x_train, y_train), (x_test, y_test) = load_mnist(normalize=True, one_hot_label=True)
#トレーニングデータのm個のうち、10個をランダム抽出
batch_mask = np.random.choice(x_train.shape[0],10) 

print(batch_mask)
# [ 5439 34906 17859  4359 43756 16992 51724 55159 41009 44592]

◆メモ1
・mnistの分類アルゴリズムについて・・・数学的に言えば784次元のベクトルであり、784次元空間の1つの点(x1,x2,,,x784)に対応することになる。784次元は絵では示せないが、その空間を10個の領域に分割して、分類を行うという意味では、二次元平面の分類と類似。


◆メモ2(API、計算)
☞ tf.Session()・・・処理を実行するためのクラス
☞ with句・・・セッションを記述。
☞ fetch・・・グラフから演算結果を取り出す。
☞ tf.constant・・・定数。定数の行列要素を生成。
☞ input_data・・・外部データを読み込む関数(cf.mnist)
☞ placeholder・・・データが格納される予定地。
・Noneにしておくと可変サイズに対応可
☞ tf.assign・・・変数に値を代入。

◆TensorFlow
・グラフ(エッジ+ノード)という処理概念を使っている。
・グラフを実行するためには、sessionを作りrunメソッドをコール。
・約1000のAPIが公開。

◆インストール(mac
・公式ページを参考
・conda インストール(python 3.6)

◆参考サイト
・TF参考
TensorFlowで学ぶディープラーニング入門備忘録【第2章】 - ハードウェアエンジニアの備忘録

広告を非表示にする