訓練模型過程中，經常需要追蹤一些效能指標的變化情況，以便了解模型的實時動態，例如：迴歸任務中的MSE、分類任務中的Accuracy、生成對抗網路中的圖片、網路模型結構視覺化…… 除了追蹤外，我們還希望能夠將這些指標以動態圖表的形式視覺化顯示出來。

TensorFlow的附加工具Tensorboard就完美的提供了這些功能。不過現在經過Pytorch團隊的努力，TensorBoard已經整合到了Pytorch中，只要安裝有pytorch也可以直接使用TensorBoard。

Tensorboard同時提供了後端資料記錄功能和前端資料視覺化功能。通過後端資料記錄功能，我們可以將需要追蹤的效能指標寫入到指定檔案；通過前端資料視覺化功能，我們可是實時檢視當前訓練情況。

在接下來的文章中，將對TensorBoard的使用方法進行介紹，如果你還沒有安裝，可以通過一下命令進行安裝。注意，雖然torch整合有TensorBoard，但是並不完整，需要使用下面命令完整安裝後，才能開啟TensorBoard的WEB應用。

pip install tensorboard

1 開啟TensorBoard的WEB應用¶

在通過上述命令完成tensorboard的安裝後，即可在命令列呼叫tensorboard進行啟動。如下所示：

tensorboard --logdir=./run

執行後輸出如下：

logdir引數的作用是指定讀取記錄資料的目錄，如果該目錄內又多個記錄檔案，也會在頁面中列表顯示。另外從輸出結果中，tensorboard預設從6006埠啟動，當然也可以通過port引數指定埠，如下所示，我們指定從8088埠啟動：

tensorboard --logdir=./run --port 8088

在瀏覽器位址列，我們輸入對應地址，開啟頁面如下：

現在之所以提示這些資訊，是因為我們還沒有記錄過任何資料。

2 SummaryWriter類¶

SummaryWriter是tensorboard中專門用來記錄資料的類，只有通過SummaryWriter記錄好的資料，才能在前端頁面中展示。SummaryWriter類範例化時，主要引數如下：

log_dir (str)：指定了資料儲存的資料夾的位置，如果該資料夾不存在則會建立一個出來。如果沒有指定的話，預設的儲存的資料夾是./runs/現在的時間_主機名，例如：Dec16_21-13-54_DESKTOP-E782FS1，因此每次執行之後都會建立一個新的資料夾。
comment (string)：給預設的log_dir新增的字尾，如果我們已經指定了log_dir具體的值，那麼這個引數就不會有任何的效果
purge_step (int)：TensorBoard在記錄資料的時候有可能會崩潰，例如在某一個epoch中，進行到第$T + X$個step的時候由於各種原因（記憶體溢位）導致崩潰，那麼當服務重啟之後，就會從$T$個step重新開始將資料寫入檔案，而中間的$X$，即purge_step指定的step內的資料都被被丟棄。
max_queue (int)：在記錄資料的時候，在記憶體中開的佇列的長度，當佇列慢了之後就會把資料寫入磁碟（檔案）中。
flush_secs (int)：以秒為單位的寫入磁碟的間隔，預設是120秒，即兩分鐘。
filename_suffix (string)：新增到log_dir中每個檔案的字尾.

In [4]:

import torch
from torch.utils.tensorboard import SummaryWriter

In [4]:

# 使用預設引數建立summary writer，程式將會自動生成檔名
writer = SummaryWriter()
# 生成的檔案路徑為: runs/Dec16_21-13-54_DESKTOP-E782FS1/

# 建立summary writer時，指定檔案路徑
writer = SummaryWriter("my_experiment")
# 生成的檔案路徑為: my_experiment

# 建立summary writer時，使用comment作為字尾
writer = SummaryWriter(comment="LR_0.1_BATCH_16")
# folder location: runs/Dec16_21-19-59_DESKTOP-E782FS1LR_0.1_BATCH_16/

3 寫入資料¶

SummaryWriter類中定義了各式各樣的方法，用於記錄不同的資料，這些方法都已「add_」開頭，我們先羅列一下這些方法：

In [8]:

writer = SummaryWriter('runs')
for i in SummaryWriter.__dict__.keys():
    if i.startswith("add_"):
        print(i)

add_hparams
add_scalar
add_scalars
add_histogram
add_histogram_raw
add_image
add_images
add_image_with_boxes
add_figure
add_video
add_audio
add_text
add_onnx_graph
add_graph
add_embedding
add_pr_curve
add_pr_curve_raw
add_custom_scalars_multilinechart
add_custom_scalars_marginchart
add_custom_scalars
add_mesh

大體來說，所能記錄的資料型別包括標量（scalar）、影象（image）、統計圖（diagram）、視訊（video）、音訊（audio）、文字（text）、Embedding等等。下面我們一次來說說怎麼記錄這些不同型別的資料。

3.1 標量資料¶

注意：訓練過程中，新增loss等資料是，一定要通過item()方法，轉換為標量之後才能新增到tensorboard中。

（1）add_scalar：一圖一曲線

tag (str)：用於給資料進行分類的標籤，標籤中可以包含父級和子級標籤。例如給訓練的loss以loss/train的tag，而給驗證以loss/val的tag，這樣的話，最終的效果就是訓練的loss和驗證的loss都被分到了loss這個父級標籤下。而train和val則是具體用於區分兩個引數的識別符號（identifier）。此外，只支援二級標籤。
global_step (int)：首先，每個epoch中我們都會更新固定的step。因此，在一個資料被加入的時候，有兩種step，第一種step是資料被加入時當前epoch已經進行了多少個step，第二種step是資料被加入時候，累計（包括之前的epoch）已經進行了多少個step。而考慮到我們在繪圖的時候往往是需要觀察所有的step下的資料的變化，因此global_step指的就是當前資料被加入的時候已經計算了多少個step。計算global_step的步驟很簡單，就是$global\_step=epoch∗len(dataloader)+current\_step$
wlltime (int)：從SummaryWriter範例化開始到當前資料被加入時候所經歷時間（以秒計算），預設是使用time.time()來自動計算的，當然我們也可以指定這個引數來進行修改。這個引數一般不改

In [42]:

writer = SummaryWriter('runs/add_scalar')
for n_iter in range(100):
    writer.add_scalar('Loss/train', np.random.random(), n_iter)
    writer.add_scalar('Loss/test', np.random.random(), n_iter)
    writer.add_scalar('Accuracy/train', np.random.random(), n_iter)
    writer.add_scalar('Accuracy/test', np.random.random(), n_iter)
writer.close()

使用不同的SummaryWriter範例，相同的tag進行記錄資料時，將可以實現在同一張圖表中顯示多條曲線。注意，範例化SummaryWriter時，必須指定不同的資料夾，否則多個記錄資料雖然也是在同一圖表中，但是圖是混亂的。

In [45]:

# 兩個Accuracy寫入不同的資料夾中
writer1 = SummaryWriter('runs/add_scalar-1')
writer2 = SummaryWriter('runs/add_scalar-2')
for n_iter in range(100):
    # 使用兩個SummaryWriter分別記錄LOSS和Accuracy，注意，tag必須一樣
    writer1.add_scalar('Loss', np.random.random(), n_iter)
    writer2.add_scalar('Loss', np.random.random(), n_iter)
    writer1.add_scalar('Accuracy', np.random.random(), n_iter)
    writer2.add_scalar('Accuracy', np.random.random(), n_iter)
writer1.close()
writer2.close()

（2）add_scalars：一圖多曲線

一張圖顯示多條曲線可以更加方便得對比資料，SummaryWriter中提供add_scalars方法實現在一張圖中繪製多條曲線。

main_tag (str)：多條曲線共用的標籤
tag_scalar_dict (dict)：多個需要記錄的資料組成的鍵值對
global_step (int)：訓練的 step
walltime (float)：從SummaryWriter範例化開始到當前資料被加入時候所經歷時間（以秒計算）

In [44]:

writer = SummaryWriter('runs/add_scalar')

for n_iter in range(100):
    writer.add_scalars('Loss', {'test':np.random.random(),'train':np.random.random()}, n_iter)
writer.close()

3.2 影象資料¶

（1）add_image

tag (str)：資料標籤
img_tensor：影象資料，資料型別可以使torch.Tensor, numpy.ndarray, string/blobname
global_step (int)：訓練的step
walltime (float)：從SummaryWriter範例化開始到當前資料被加入時候所經歷時間（以秒計算）
dataformats (str)：影象資料的格式，可以是CHW, HWC, HW, WH等，預設為CHW，即Channel x Height x Width。通常來說，預設即可，但如果影象tensor不是CHW，就要通過這個引數指定了。

在本地資料夾有images下有多張圖片，我們選擇一張將其記錄到tensorboard中：

In [7]:

from torchvision.io import read_image

In [8]:

# 將圖片開啟為torch.Tensor型別
img = read_image('images/0975.jpg')

In [9]:

img.shape

Out[9]:

torch.Size([3, 224, 224])

可見，圖片為CHW型別。我們將所有圖片上傳記錄：

In [14]:

writer = SummaryWriter('runs/add_image')
path_lst = [os.path.join('images', i) for i in os.listdir('images')]
for i, img in enumerate(path_lst):
    img = read_image(img)
    writer.add_image('img', img, i)
writer.close()

add_image方法一般情況下只能一次插入一張圖片。如果要一次性插入多張圖片，可以使用 torchvision 中的 make_grid 方法，將多張圖片拼合成一張圖片後，再呼叫 add_image 方法。

In [15]:

from torchvision.utils import make_grid

In [18]:

path_lst = [os.path.join('images', i) for i in os.listdir('images')]
img_lst = []
for i, img in enumerate(path_lst):
    img = read_image(img)
    img_lst.append(img)
writer = SummaryWriter('runs/add_image')
img_grid = make_grid(img_lst, nrow=5)
writer.add_image('img_grid', img_grid)
writer.close()

(2) add_images

add_images是tensorboard中提供直接一次性記錄多張圖片的方法，此方法引數與add_image基本一致，區別就在於記錄的資料是多張圖片組成的torch.Tensor或numpy.array, 資料的shape為(N,3,H,W)，其中N為圖片數量。

In [29]:

path_lst = [os.path.join('images', i) for i in os.listdir('images')]
img_lst = []
for i, img in enumerate(path_lst):
    img = read_image(img)
    img_lst.append(img)
imgs_tensor = torch.stack(img_lst,0)

In [30]:

writer = SummaryWriter('runs/add_image')
writer.add_images('add_images', imgs_tensor)
writer.close()

3.3 模型結構¶

使用add_graph方法，可以繪製模型結構：

model (torch.nn.Module) ：需要繪製的模型
input_to_model (torch.Tensor or list of torch.Tensor)：傳遞給模型的一個資料
verbose (bool) ：是否同時在命令列中繪製

In [54]:

import torch.nn as nn
import torch.nn.functional as F
from torch.autograd import Variable

先定義一個模型：

In [55]:

class Net1(nn.Module):
    def __init__(self):
        super(Net1, self).__init__()
        self.conv1 = nn.Conv2d(1, 10, kernel_size=5)
        self.conv2 = nn.Conv2d(10, 20, kernel_size=5)
        self.conv2_drop = nn.Dropout2d()
        self.fc1 = nn.Linear(320, 50)
        self.fc2 = nn.Linear(50, 10)
        self.bn = nn.BatchNorm2d(20)

    def forward(self, x):
        x = F.max_pool2d(self.conv1(x), 2)
        x = F.relu(x) + F.relu(-x)
        x = F.relu(F.max_pool2d(self.conv2_drop(self.conv2(x)), 2))
        x = self.bn(x)
        x = x.view(-1, 320)
        x = F.relu(self.fc1(x))
        x = F.dropout(x, training=self.training)
        x = self.fc2(x)
        x = F.softmax(x, dim=1)
        return x

In [59]:

dummy_input = Variable(torch.rand(13, 1, 28, 28))

model = Net1()
with SummaryWriter('runs/Net1') as w:
    w.add_graph(model, (dummy_input, ))

GIF 2022-12-17 星期六 11-16-19.gif

關於add_graph的例子，可以參考這裡。

4 總結¶

除了上述介紹到的方法外，tensorboard還提供許多其他方法，但我認為用到不多，這裡就不介紹了，可以參考官方檔案。另外，tensorboardX雖然不在維護了，但是卻提供了很多使用tensorboard的例子可以學習，用法與pytorch的tensorboard完全一樣，地址在這裡