分類任務和迴歸任務的不同之處在於，分類任務需要做出離散的預測。對於多分類任務的神經網路模型，其輸出目標通常會用one-hot編碼來表示，在輸出層中使用softmax函數，同時使用分類交叉熵損失函數進行訓練。在本部落格中，我們將使用TensorFlow的底層API實現一個基於全連線層的神經網路來進行MNIST數位影像分類。下面是涉及到的相關概念：
深度學習是一種機器學習方法，它通過多層神經網路層次化地提取特徵，以解決各種複雜的分類和迴歸問題。
神經網路是深度學習的基本組成部分，由多個層次化的神經元組成。輸入層接受資料，中間的隱藏層通過權重和啟用函數處理資料，最終輸出層產生分類結果。在這個範例中，我們將手動實現神經網路的核心元件。
前向傳播是神經網路中的資訊傳遞過程，從輸入層到輸出層，每一層的神經元根據權重和啟用函數計算輸出。這個過程將輸入資料對映到預測輸出。
反向傳播是訓練神經網路的關鍵步驟，它通過計算預測與真實標籤之間的誤差，並將誤差反向傳播到網路中的每一層來更新權重，以最小化誤差。
以下程式碼分別實現了密集層DenseLayer，網路模型SequentialModel，批次生成器BatchGenerator，批次權重更新one_training_step 以及 訓練函數fit。
from keras.datasets import mnist
import math
import tensorflow as tf
import numpy as np
class DenseLayer: # 簡單的Dense類
def __init__(self, input_size, output_size, activation):
self.activation = activation
w_shape = (input_size, output_size) # 建立一個形狀為(input_size, output_size)的矩陣W，並將其隨機初始化
w_initial_value = tf.random.uniform(w_shape, minval=0, maxval=1e-1)
self.W = tf.Variable(w_initial_value)
b_shape = (output_size,) # 建立一個形狀為(output_size,)的零向量b
b_initial_value = tf.zeros(b_shape)
self.b = tf.Variable(b_initial_value)
def __call__(self, inputs): # 前向傳播
return self.activation(tf.matmul(inputs, self.W) + self.b)
@property
def weights(self): # 獲取該層權重
return [self.W, self.b]
class SequentialModel: # 簡單的Sequential類
def __init__(self, layers):
self.layers = layers
def __call__(self, inputs):
x = inputs
for layer in self.layers:
x = layer(x)
return x
@property
def weights(self):
weights = []
for layer in self.layers:
weights += layer.weights
return weights
class BatchGenerator: # 批次生成器
def __init__(self, images, labels, batch_size=128):
assert len(images) == len(labels)
self.index = 0
self.images = images
self.labels = labels
self.batch_size = batch_size
self.num_batches = math.ceil(len(images) / batch_size)
def next(self):
images = self.images[self.index: self.index + self.batch_size]
labels = self.labels[self.index: self.index + self.batch_size]
self.index += self.batch_size
return images, labels
# 更新引數
learning_rate = 1e-3 # 學習率
def update_weights(gradients, weights):
for g, w in zip(gradients, weights):
w.assign_sub(g * learning_rate) # assign_sub相當於TensorFlow變數的-=
# 計算梯度，並更新權重
def one_training_step(model, images_batch, labels_batch):
with tf.GradientTape() as tape: # 執行前向傳播，即在GradientTape作用域內計算模型預測值
predictions = model(images_batch)
# 標籤編碼為整數，使用sparse_categorical_crossentropy損失函數
per_sample_losses = tf.keras.losses.sparse_categorical_crossentropy(labels_batch, predictions)
average_loss = tf.reduce_mean(per_sample_losses)
gradients = tape.gradient(average_loss, model.weights) # 計算損失相對於權重的梯度。輸出gradients是一個列表，每個元素對應model.weights列表中的權重
update_weights(gradients, model.weights) # 利用梯度來更新權重
return average_loss
# 完整的訓練迴圈
def fit(model, images, labels, epochs, batch_size=128):
for epoch_counter in range(epochs):
print(f"Epoch {epoch_counter}")
batch_generator = BatchGenerator(images, labels)
for batch_counter in range(batch_generator.num_batches):
images_batch, labels_batch = batch_generator.next()
loss = one_training_step(model, images_batch, labels_batch)
if batch_counter % 100 == 0:
print(f"loss at batch {batch_counter}: {loss:.2f}")
首先，我們需要準備資料。MNIST資料集包含手寫數位影像，每個影象是28x28畫素的灰度影象，總共有10個類別（0到9）。
# 載入MNIST資料集
(train_images, train_labels), (test_images, test_labels) = mnist.load_data()
# 歸一化畫素值到0到1之間
train_images = train_images.reshape((60000, 28 * 28)).astype("float32") / 255
test_images = test_images.reshape((10000, 28 * 28)).astype("float32") / 255
接下來，我們將使用DenseLayer 和 SequentialModel 類構建一個兩層的全連線神經網路模型。
# 利用這個DenseLayer類和SequentialModel類，建立一個與Keras類似的模型
model = SequentialModel([
DenseLayer(input_size=28 * 28, output_size=512, activation=tf.nn.relu),# 全連線層，512個單元，ReLU啟用函數
DenseLayer(input_size=512, output_size=10, activation=tf.nn.softmax) # 輸出層，10個輸出單元對應0-9的數位，使用softmax啟用函數
])
現在，我們將使用手動實現的神經網路模型來進行訓練。
# 開始訓練
fit(model, train_images, train_labels, epochs=10, batch_size=128)
# 預測結果準確率
predictions = model(test_images).numpy()
predicted_labels = np.argmax(predictions, axis=1)
matches = predicted_labels == test_labels
print(f"accuracy: {matches.mean():.2f}")
在本部落格中，我們使用TensorFlow的底層API手動實現了一個基於全連線層的神經網路模型，並將其應用於MNIST數位影像分類。我們涵蓋了深度學習分類的基本原理，包括神經網路、前向傳播和反向傳播。通過適當的資料處理、模型構建、訓練和預測，我們成功地分類了手寫數位影像，這是深度學習在計算機視覺中的一個典型應用。希望本文能幫助你瞭解深度學習分類的基本流程和實現細節。通過底層API的實現，你可以更深入地理解深度學習模型的內部工作原理。