在本章中,提出了一種替代方法,它依賴於跨兩個序列的單個2D折積神經網路。網路的每一層都根據到目前為止產生的輸出序列重新編碼源令牌。因此,類似注意的屬性在整個網路中普遍存在。
在這裡,將專注於使用資料集中包含的值建立具有特定池的順序網路。此過程也最適用於「影象識別模組」。
以下步驟用於使用PyTorch建立帶有Convent的序列處理模型 -
第1步
使用convent匯入必要的模組以執行序列處理。
import keras
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D, MaxPooling2D
import numpy as np
第2步
使用以下程式碼執行必要的操作以按相應的順序建立模式 -
batch_size = 128
num_classes = 10
epochs = 12
# input image dimensions
img_rows, img_cols = 28, 28
# the data, split between train and test sets
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train = x_train.reshape(60000,28,28,1)
x_test = x_test.reshape(10000,28,28,1)
print('x_train shape:', x_train.shape)
print(x_train.shape[0], 'train samples')
print(x_test.shape[0], 'test samples')
y_train = keras.utils.to_categorical(y_train, num_classes)
y_test = keras.utils.to_categorical(y_test, num_classes)
第3步
編譯模型並在所提到的傳統神經網路模型中擬合模式,如下所示 -
model.compile(loss =
keras.losses.categorical_crossentropy,
optimizer = keras.optimizers.Adadelta(), metrics =
['accuracy'])
model.fit(x_train, y_train,
batch_size = batch_size, epochs = epochs,
verbose = 1, validation_data = (x_test, y_test))
score = model.evaluate(x_test, y_test, verbose = 0)
print('Test loss:', score[0])
print('Test accuracy:', score[1])
產生的輸出如下 -