深度學習基本部件-啟用函數詳解

• 啟用函數概述
  • 前言
  • 啟用函數定義
  • 啟用函數性質
• Sigmoid 型函數
  • Sigmoid 函數
  • Tanh 函數
• ReLU 函數及其變體
  • ReLU 函數
  • Leaky ReLU/PReLU/ELU/Softplus 函數
• Swish 函數
• 啟用函數總結
• 參考資料

本文分析了啟用函數對於神經網路的必要性，同時講解了幾種常見的啟用函數的原理，並給出相關公式、程式碼和範例圖。

啟用函數概述

前言

人工神經元(Artificial Neuron)，簡稱神經元(Neuron)，是構成神經網路的基本單元，其主要是模擬生物神經元的結構和特性，接收一組輸入訊號併產生輸出。生物神經元與人工神經元的對比圖如下所示。

從機器學習的角度來看，神經網路其實就是一個非線性模型，其基本組成單元為具有非線性啟用函數的神經元，通過大量神經元之間的連線，使得多層神經網路成為一種高度非線性的模型。神經元之間的連線權重就是需要學習的引數，其可以在機器學習的框架下通過梯度下降方法來進行學習。

啟用函數定義

啟用函數（也稱「非線性對映函數」），是深度折積神經網路模型中必不可少的網路層。

假設一個神經元接收 \(D\) 個輸入 \(x_1, x_2,⋯, x_D\)，令向量 \(x = [x_1;x_2;⋯;x_