如何使用Google Colab執行TensorFlow專案

一、簡介

Colab 是 Google Colaboratory 的簡稱，它是一個免費的 Jupyter 筆電環境，無需任何設定就可以在瀏覽器中編寫和執行 Python 程式碼，完全在雲端執行。

當然重要的是它提供了免費使用的 GPU，可以讓我們更輕鬆地完成實驗，目前 Google 提供的 GPU 普遍還是 Tesla K80，雖然之前說是全面將 K80 替換為 Tesla T4、16GB 視訊記憶體，但現在使用的時候還是隨機分配的，二者的算力具體差距有多少，請參考 NVIDIA官網的資料。
在這裡插入圖片描述

二、如何使用

存取谷歌需要你科學上網的能力，如果你無法存取外網，後面的內容也就不需要看下去了。

1、註冊谷歌郵箱

Colab和Google雲端硬碟均是Google的產品，需使用谷歌賬號，請自行百度教學完成註冊。

2、存取Colab

Colab地址：https://colab.research.google.com/notebooks/intro.ipynb
初始介面如下，左側目錄列出了各種使用說明，供初學者學習。
在這裡插入圖片描述
以下介紹一下基本的使用步驟：
(1) 新建筆電：點選上方的檔案選修進行建立

（2）使用GPU：想用Colab當然衝著免費的GPU去啦！！
設定使用GPU十分簡單，有兩個設定入口。
一是從修改選項點選筆電設定進入，二是從程式碼執行程式選項點選更改執行時型別進入，在彈出的對話方塊中選擇GPU即可。
在這裡插入圖片描述

注意GPU的分配的隨機的，至於分配到的是 Tesla K80 還是 T4 只能說看天意了。
如何檢視執行的GPU型號？使用指令碼命令

需要注意的是，Colab就像一個Jupyter筆電，但它同時可以處理系統命令。
在colab環境下，系統命令必須新增」!」符號才能正常使用，否則會提示錯誤。」!」符號告訴筆電單元這行不是Python程式碼，它是一個命令列指令碼。

使用指令碼命令檢視當前執行的GPU型號：

!nvidia-smi

測試如下，這次比較幸運的分配到了 Tesla T4 ！！！
在這裡插入圖片描述
（3）安裝深度學習平臺（TensorFlow 或 Pytorch）
在Colab下，已經預先提供了兩個版本的 TensorFlow： a 2.x 和 a 1.x 版本。對 TensorFlow 的玩家來說無需進行多餘的安裝設定，Pytorch 玩家哭出聲來。

使用 TensorFlow 只需在執行前宣告版本即可：

%tensorflow_version 1.x
import tensorflow as tf
print(tf.__version__)

測試結果如下，注意版本宣告只能宣告一次，選擇後無法修改，只能斷開重連進行重選。
在這裡插入圖片描述
Pytorch 玩家的設定其實也不復雜：
可檢視官方安裝命令 http://pytorch.org/
直接用 pip install 命令進行安裝即可，分別安裝 torch 和 torchvision，再次提示在colab環境下，系統命令必須新增」!」符號才能正常使用！

!pip3 install http://download.pytorch.org/whl/cu80/torch-0.3.1-cp36-cp36m-linux_x86_64.whl
!pip3 install torchvision

安裝成功後，測試結果如下
在這裡插入圖片描述

3、使用Google雲端硬碟管理專案

使用 colab 建立的筆電會自動儲存在你的谷歌雲端硬碟上，Google雲端硬碟提供了15GB的免費空間用於使用者的儲存，如果你的專案有較大的資料集或者執行時間過長則推薦將專案上傳到雲盤中進行。

（1）存取Google雲端硬碟
Google雲端硬碟地址：https://drive.google.com/drive/my-drive
除了通過地址存取，你也可以點選Colab的圖示進入。
在這裡插入圖片描述
（2）在程式碼中掛載谷歌雲盤
在Colab環境下，實際上為我們分配一臺遠端的帶GPU的主機，它的原始路徑不是你的谷歌雲盤（也就是你的程式碼檔案）所在的路徑。所以我們首先要把谷歌雲盤掛載帶到那臺遠端主機上：

from google.colab import drive
drive.mount('/content/gdrive')

執行程式碼後會提示讓你輸入驗證碼，按提示完成即可。

import os
os.chdir("/content/gdrive/My Drive/MyProject/Problem2")

這裡我的程式碼存放在 MyProject 資料夾下的 Problem2 資料夾。

（4）執行程式碼
第一種方式是直接按上述例子，像Jupyter Notebook一樣執行。
第二種方式是將 python檔案上傳到你的雲端硬碟，包括資料集。然後使用命令列執行，執行前注意路徑設定是否正確。如下：

! python example.py

三、注意事項、使用技巧

1、使用雲端硬碟儲存資料
直接使用colab時可以上傳臨時資料，儲存臨時結果，一旦斷開連線，資料將會丟失，所以強烈建議使用雲端硬碟儲存資料。

2、斷開連線解決辦法
在使用Colab時，一段時間掛機未操作有可能導致連線斷開，但是要是想跑時間較長的專案時不可能一直盯著螢幕，解決辦法如下：
在瀏覽器中按F12，找到console將下面程式碼貼上到控制檯回車即可。
若重新整理了頁面請重新執行上述步驟

function ClickConnect(){
  colab.config
  console.log("Connnect Clicked - Start"); 
  document.querySelector("#top-toolbar > colab-connect-button").shadowRoot.querySelector("#connect").click();
  console.log("Connnect Clicked - End");
};
setInterval(ClickConnect, 60000)

3、執行時間過長的專案
Colab使用時間過長也有機率會掉線，對執行時間過長的專案來說，建議儲存中間結果，下次使用時可以直接讀取中間結果繼續跑，持續白嫖。