技術文章 » keras圖片數位識別入門AI機器學習

keras圖片數位識別入門AI機器學習

2023-03-10 06:04:42

通過使用mnist（AI界的helloworld）手寫數位模型訓練集，瞭解下AI工作的基本流程。

本例子，要基於mnist資料集（該資料集包含了【0-9】的模型訓練資料集和測試資料集）來完成一個手寫數位識別的小demo。

mnist資料集，圖片大小是28*28的黑白。包含了6w 訓練資料和1w驗證資料。

麻雀雖小五臟俱全。通過這個CV型別的demo需求，我們會學到神經網路模型。

從資料載入，到資料預處理，再到訓練模型，儲存模型。然後再通過模型來預測我們輸入的圖片數位。

通過整個過程下來，對於像我這樣初識AI深度學習者來說，可以有一個非常好的體感。

我們通過keras+tensorflow2.0來上手。

資料載入

keras 框架，提供了現成的方法來獲取mnist資料集

(x_train_image, y_train_label), (x_test_image, y_test_label) = mnist.load_data()

這個方法會返回兩組資料集
train_image，train_label ，訓練資料集、分類標籤
x_test_image, y_test_label，驗證資料集、分類標籤

要想讓機器識別一個圖片，需要對圖片進行畫素化，將畫素資料轉換成 張量 矩陣資料。

mnist.load_data() 返回的就是已經轉換好的張量矩陣資料。

（在python中，通過NumPy多維陣列表示。）

資料預處理

我們這個demo屬於AI for CV 方向。

CV資訊首先要畫素化處理，拿到張量資訊。

# 轉換成一維向量 28*28=784
x_train = x_train_image.reshape(60000, 784)
x_test = x_test_image.reshape(10000, 784)

# 標準化0-1
x_Test_normalize = x_test.astype('float32') / 255
x_Train_normalize = x_train.astype('float32') / 255

通過reshape方法將三維轉換成二維，同時通過量化將計算資料縮小但是不影響模型訓練識別。
（mnist圖片資料是黑白，位深為8位元，0-255表示畫素資訊）。

通過視覺化，我們能大概看到圖片的數位特徵是怎麼被感知到的。

同時將label標籤資料轉換成0-1的矩陣。

# 將訓練集和測試集標籤都進行獨熱碼轉化
y_TrainOneHot = np_utils.to_categorical(y_train_label)
y_TestOneHot = np_utils.to_categorical(y_test_label)

構建模型

# 建立Sequential 模型
model = Sequential()
# 建立輸入層、隱藏層
model.add(Dense(units=256,input_dim=784,kernel_initializer='normal',activation='relu'))
# 建立輸出層
model.add(Dense(units=10,kernel_initializer='normal',activation='softmax'))

# 定義模型訓練引數
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

定義神經網路模型引數。這裡每一個引數都是一個非常深的學科，但是工程使用瞭解下就可以了。

訓練模型

# 開始訓練
train_history = model.fit(x=x_Train_normalize, y=y_TrainOneHot,
                              validation_split=0.2, epochs=10, batch_size=200, verbose=2)
# 顯示訓練過程
show_train_history(train_history, 'accuracy', 'val_accuracy')

隨著訓練次數不斷增加，整個精確度也越來越高。

我們看下訓練過程的紀錄檔。

Epoch 1/10
240/240 - 3s - loss: 0.1211 - accuracy: 0.8309 - val_loss: 0.0564 - val_accuracy: 0.9228 - 3s/epoch - 11ms/step
Epoch 2/10
240/240 - 1s - loss: 0.0492 - accuracy: 0.9312 - val_loss: 0.0392 - val_accuracy: 0.9470 - 831ms/epoch - 3ms/step
Epoch 3/10
240/240 - 1s - loss: 0.0360 - accuracy: 0.9495 - val_loss: 0.0313 - val_accuracy: 0.9570 - 890ms/epoch - 4ms/step
Epoch 4/10
240/240 - 1s - loss: 0.0286 - accuracy: 0.9598 - val_loss: 0.0278 - val_accuracy: 0.9610 - 900ms/epoch - 4ms/step
Epoch 5/10
240/240 - 1s - loss: 0.0239 - accuracy: 0.9675 - val_loss: 0.0243 - val_accuracy: 0.9679 - 1s/epoch - 5ms/step
Epoch 6/10
240/240 - 1s - loss: 0.0204 - accuracy: 0.9723 - val_loss: 0.0224 - val_accuracy: 0.9698 - 1s/epoch - 5ms/step
Epoch 7/10
240/240 - 1s - loss: 0.0177 - accuracy: 0.9772 - val_loss: 0.0210 - val_accuracy: 0.9714 - 1s/epoch - 4ms/step
Epoch 8/10
240/240 - 1s - loss: 0.0155 - accuracy: 0.9805 - val_loss: 0.0201 - val_accuracy: 0.9729 - 984ms/epoch - 4ms/step
Epoch 9/10
240/240 - 1s - loss: 0.0137 - accuracy: 0.9833 - val_loss: 0.0189 - val_accuracy: 0.9742 - 1s/epoch - 5ms/step
Epoch 10/10
240/240 - 1s - loss: 0.0122 - accuracy: 0.9861 - val_loss: 0.0182 - val_accuracy: 0.9751 - 975ms/epoch - 4ms/step

可以看到，每一輪訓練，loss 的值在逐步變小，accuracy 在逐步增加。

每一次訓練，模型中的損失函數在計算出一個引數給到優化器進行反向傳播，不斷的調整神經元的權重。

模型訓練好之後，需要用測試資料集來驗證模型的準確度。

scores = model.evaluate(x_Test_normalize, y_TestOneHot)
print('accuracy=', scores[1])

accuracy= 0.975600004196167

儲存模型

mode.save()
model.save('model.h5') #也可以儲存到具體的檔案中

儲存的模型裡面具體是什麼，瞭解神經網路原理之後，大概能明白。其實模型裡最重要的是 神經元的權重值
這個demo的模型我放到這裡了。
（https://gitee.com/wangqingpei/blogimages/blob/master/mnist-helloworld/test/model-mnist/model.h5）

預測資料

我們準備幾個手寫的數位測試下。

讀取本地圖片檔案

def get_local_image():
    img = Image.open('3.png')
    img = img.convert('L').resize((28, 28))
    img_array = np.array(img)
    # 將畫素值轉換為0-1之間的浮點數
    img_array = img_array.astype('float32') / 255.0
    img_array_result = np.reshape(img_array, (1, 784))

    return img_array_result

載入模型進行預測

def autoNumberWord():
    model = load_model("/Users/wangqingpei/Downloads/test/model-mnist/model.h5")
    img = get_local_image()
    prediction = model.predict(img)
    prediction_result = np.argmax(prediction)
    print('本地檔案預測：', prediction_result)

240/240 - 1s - loss: 0.0130 - accuracy: 0.9843 - val_loss: 0.0183 - val_accuracy: 0.9755 - 848ms/epoch - 4ms/step
Epoch 10/10
240/240 - 1s - loss: 0.0116 - accuracy: 0.9866 - val_loss: 0.0177 - val_accuracy: 0.9761 - 873ms/epoch - 4ms/step
313/313 [==============================] - 1s 2ms/step - loss: 0.0167 - accuracy: 0.9767
accuracy= 0.9767000079154968
1/1 [==============================] - 0s 116ms/step
Backend MacOSX is interactive backend. Turning interactive mode on.
本地檔案預測： 3

學會使用AI數位助手 chartGPT

在學習過程中，遇到問題要改變習慣，用chartGPT。～_～

在學習這個demo的時候，關於載入本地圖片的地方我搞了半天不行，後來求助chartGPT，還是很方便的。



未來AI工具肯定是越來越產品化，易使用。
但是，要想跟AI對話，需要對特定的領域有一定的理解。Prompt Engineer 也一定是趨勢。