TensorFlow遞回神經網路

遞迴神經網路是一種面向深度學習的演算法，遵循順序方法。在神經網路中，我們總是假設每個輸入和輸出都獨立於所有其他層。這些型別的神經網路稱為迴圈，因為它們以順序方式執行數學計算。

考慮以下步驟來訓練遞回神經網路 -

第1步 - 從資料集輸入特定範例。
第2步 - 網路將舉例並使用隨機初始化變數計算一些計算。
第3步 - 然後計算預測結果。
第4步 - 生成的實際結果與期望值的比較將產生錯誤。
第5步 - 為了跟蹤錯誤，它通過相同的路徑傳播，其中也要調整變數。
第6步 - 重複從1到5的步驟，直到宣告獲得輸出的變數正確定義。
第7步 - 通過應用這些變數來獲得新的看不見的輸入來進行系統預測。

表示遞回神經網路的示意方法如下所述 -

使用TensorFlow實現遞回神經網路

在本節中，我們將學習如何使用TensorFlow實現遞回神經網路。

第1步 - TensorFlow包括用於迴圈神經網路模組的特定實現的各種庫。

#Import necessary modules
from __future__ import print_function

import tensorflow as tf
from tensorflow.contrib import rnn
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("/tmp/data/", one_hot = True)

如上所述，此庫有助於定義輸入資料，它構成了遞回神經網路實現的主要部分。

第2步 - 使用遞迴神經網路對影象進行分類，將每個影象行視為畫素序列。MNIST影象形狀具體定義為28 * 28畫素。現在將為所提到的每個樣本處理28個序列和28個步驟。定義輸入引數以完成順序模式。

n_input = 28 # MNIST data input with img shape 28*28
n_steps = 28
n_hidden = 128
n_classes = 10

# tf Graph input
x = tf.placeholder("float", [None, n_steps, n_input])
y = tf.placeholder("float", [None, n_classes]
weights = {
   'out': tf.Variable(tf.random_normal([n_hidden, n_classes]))
}
biases = {
   'out': tf.Variable(tf.random_normal([n_classes]))
}

第3步 - 使用RNN中定義的函式計算結果以獲得最佳結果。這裡，將每個資料形狀與當前輸入形狀進行比較，並計算結果以保持準確率。

def RNN(x, weights, biases):
   x = tf.unstack(x, n_steps, 1)

   # Define a lstm cell with tensorflow
   lstm_cell = rnn.BasicLSTMCell(n_hidden, forget_bias=1.0)

   # Get lstm cell output
   outputs, states = rnn.static_rnn(lstm_cell, x, dtype = tf.float32)

   # Linear activation, using rnn inner loop last output
   return tf.matmul(outputs[-1], weights['out']) + biases['out']

pred = RNN(x, weights, biases)

# Define loss and optimizer
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits = pred, labels = y))
optimizer = tf.train.AdamOptimizer(learning_rate = learning_rate).minimize(cost)

# Evaluate model
correct_pred = tf.equal(tf.argmax(pred,1), tf.argmax(y,1))
accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32))

# Initializing the variables
init = tf.global_variables_initializer()

第4步 - 在此步驟中，將啟動圖形以獲得計算結果。也有助於計算測試結果的準確性。

with tf.Session() as sess:
   sess.run(init)
   step = 1
   # Keep training until reach max iterations

   while step * batch_size < training_iters:
      batch_x, batch_y = mnist.train.next_batch(batch_size)
      batch_x = batch_x.reshape((batch_size, n_steps, n_input))
      sess.run(optimizer, feed_dict={x: batch_x, y: batch_y})

      if step % display_step == 0:
         # Calculate batch accuracy
         acc = sess.run(accuracy, feed_dict={x: batch_x, y: batch_y})

         # Calculate batch loss
         loss = sess.run(cost, feed_dict={x: batch_x, y: batch_y})

         print("Iter " + str(step*batch_size) + ", Minibatch Loss {:.6f}".format(loss) + ", Training Accuracy= {:.5f}".format(acc))
      step += 1
   print("Optimization Finished!")
      test_len = 128
   test_data = mnist.test.images[:test_len].reshape((-1, n_steps, n_input))

   test_label = mnist.test.labels[:test_len]
   print("Testing Accuracy:", \
      sess.run(accuracy, feed_dict={x: test_data, y: test_label}))

下面的螢幕截圖顯示了生成的輸出 -