TCN程式碼詳解-Torch (誤導糾正)

1. 緒論

TCN網路由Shaojie Bai， J. Zico Kolter， Vladlen Koltun 三人於2018提出。對於序列預測而言，通常考慮迴圈神經網路結構，例如RNN、LSTM、GRU等。他們三個人的研究建議我們，對於某些序列預測（音訊合成、字級語言建模和機器翻譯），可以考慮使用折積網路結構。

關於TCN基本構成和他們的原理有相當多的部落格已經解釋的很詳細的了。總結一句話：TCN = 1D FCN + 因果折積。下面的部落格對因果折積和孔洞折積有詳細的解釋。

• 時間折積網路(TCN)：結構+pytorch程式碼
• TCN論文及程式碼解讀總結
• 時間序列分析（5） TCN

但是，包括TCN原文作者，上面這些部落格對TCN網路結構的闡釋無一例外都是使用下面這張圖片。而問題在於，如果不熟悉Torch操作和基本的折積網路操作，這張圖片具有很大的誤導性。

圖1 膨脹因果折積(膨脹因子d = 1,2,4，濾波器大小k = 3)

結合上圖和上面列舉的部落格，我們可以大致理解到，TCN就是在序列上使用一維折積核，沿著時間方向，按照空洞折積的方式，依次計算。
例如，上圖中，

1. 第一個hidden層是由 \(d=1\) 的空洞折積，折積而來，退化為基本的一維折積操作；
2. 第二個hidden層是由 \(d=2\) 的空洞折積，折積而來，折積每個值時隔開了一個值；
3. 第二個hidden層是由 \(d=4\) 的空洞折積，折積而來，折積每個值時隔開了三個值；

由此，上圖中網路深度為3，每一層有1個折積操作。

如果你也是這麼理解，恭喜你，成功的被我帶跑偏了