麻雀SSA優化深度極限學習機用於迴歸

原理1：       

        深度極限學習機也叫多層極限學習機ML-ELM，其首先採用多個極限學習機-自動編碼器(ELM-AE)進行無監督預訓練，然後利用各ELM-AE的輸出權重用於初始化整個DELM。相比於其他深度方法，DELM具有訓練速度快的優點，但是ELM-AE在預訓練的過程中，輸入層權重與偏置是隨機產生的正交隨機矩陣；同時，ELM-AE無監督預訓練過程中採用最小二乘法更新引數，但只有輸出層權重引數會更新，而輸入層權重與偏置是不進行更新的，這就導致了最終DELM的效果受各ELM-AE的隨機輸入權重與隨機偏置的影響，為此，可以採用某種方法進行這些引數進行尋優，依次提高DELM的網路精度。

                                                                                      圖1 ELM-AE網路結構

---

原理2：       

       麻雀搜尋演演算法(Sparrow Search Algorithm, SSA)是一種新型的群智慧優化演演算法，在2020年提出，主要是受麻雀的覓食行為和反捕食行為的啟發。因為這個演演算法是2020年出來的，相關論文很少，想水論文的有很大機會。因此，本文采用SSA對DELM預訓練的各ELM-AE輸入權重與偏置進行尋優。

---

應用：將上述方法用於時間序列預測，資料為風速時間序列。利用前1到num的各種值為輸入 第num+1的風速作為輸出，資料截圖如下：
                                                       

                                                                                      圖2 風速資料截圖

第1：DELM效果，結果如下圖3，左下角為各指標。

                                                                                             圖3 DELM結果

第2：SSA優化DELM效果，如下圖4

                                                                            圖4 SSA-DELM結果

結論：

從結果上看，DELM在這個資料集上表現比較好，但SSA-DELM還是略勝一籌。更多見我github：https://github.com/fish-kong/SSA-DELM-regression