【scikit-learn基礎】--『預處理』之 正則化

2023-12-18 12:01:01

資料的預處理是資料分析,或者機器學習訓練前的重要步驟。
通過資料預處理,可以

  • 提高資料質量,處理資料的缺失值、異常值和重複值等問題,增加資料的準確性和可靠性
  • 整合不同資料,資料的來源和結構可能多種多樣,分析和訓練前要整合成一個資料集
  • 提高資料效能,對資料的值進行變換,規約等(比如無量綱化),讓演演算法更加高效

本篇介紹的正則化處理,主要功能是對每個樣本計算其範數,然後對該樣本中每個元素除以該範數,
這樣處理的結果是使得每個處理後樣本的範數(如l1-norm、l2-norm)等於1。

1. 原理

介紹正則化之前,先簡單介紹下範數的概念。

1.1. 範數

範數常被用來度量某個向量空間(或矩陣)中的每個向量的長度或大小,
可以簡單理解為向量的長度,或者向量到零點的距離,或者相應的兩個點之間的距離。

對於向量(\(x = [x_1, x_2, ...,x_m]\)),常見的範數有:

  1. L1範數,向量元素絕對值之和,x 到零點的曼哈頓距離(\(\parallel x \parallel_1=\sum_{i=1}^m \mid x_{i}\mid\)
  2. L2範數,向量元素絕對值的平方和再開方,表示x到零點的歐式距離(\(\parallel x \parallel_2=\sqrt{\sum_{i=1}^m \mid x_{i}^2\mid}\)
  3. p-範數,向量元素絕對值的p次方和的1/p次冪,表示x到零點的p階閔氏距離(\(\parallel x \parallel_p=(\sum_{i=1}^m \mid x_{i}\mid^p)^\frac{1}{p}\)
  4. 無窮範數,所有向量元素絕對值中的最大值(\(\parallel x \parallel_{\infty}=max_i\mid x_i \mid\)
  5. 等等。

numpy中已經提供了計算向量範數的函數。

import numpy as np

# 範數計算

arr = np.random.randint(0, 100, 10)
print("向量: {}".format(arr))

L1 = np.linalg.norm(arr, 1)
print("L1範數: {}".format(L1))
L2 = np.linalg.norm(arr, 2)
print("L2範數: {}".format(L2))

LInf = np.linalg.norm(arr, np.inf)
print("無窮範數: {}".format(LInf))

# 執行結果
向量: [12 22 30 75 20 28 38 72  2 33]
L1範數: 332.0
L2範數: 126.72016414130783
無窮範數: 75.0

1.2. 正則化

有了範數的概念之後,再來看正則化,根據選用的範數不同,正則化也分為L1正則化,L2正則化等等。
範數正則化過程中扮演了重要的角色,被用來限制優化引數的大小,幫助防止模型過擬合。

from sklearn import preprocessing as pp

data = np.random.randint(1, 100, size=(3, 3))
L1 = pp.normalize(data, norm="l1")
L2 = pp.normalize(data, norm="l2")
LMax = pp.normalize(data, norm="max")

print("L1正則化: {}".format(L1))
print("L2正則化: {}".format(L2))
print("Max正則化: {}".format(LMax))

# 執行結果
L1正則化: 
[[0.29677419 0.09677419 0.60645161]
 [0.20408163 0.46938776 0.32653061]
 [0.05       0.67       0.28      ]]

L2正則化:
[[0.43510613 0.14188244 0.88912993]
 [0.33614632 0.77313654 0.53783412]
 [0.06869324 0.92048947 0.38468217]]

Max正則化:
[[0.4893617  0.15957447 1.        ]
 [0.43478261 1.         0.69565217]
 [0.07462687 1.         0.41791045]]

正則化之後,所有的數值都被壓縮到了 0~1之間。
後續介紹機器學習演演算法時,可以看到正則化如何緩解訓練結果過擬合的問題。

2. 作用

對資料進行正則化處理的主要作用有:

2.1. 防止過擬合

過擬合是指模型在訓練資料上表現很好,但在測試資料上表現不佳的現象。
主要原因是模型在訓練資料上學習了過多的噪聲和異常值,導致對訓練資料過度擬合。

正則化通過對模型的複雜性進行懲罰,使得模型在訓練資料上表現良好的同時,也能夠對測試資料有較好的預測能力。

2.2. 提升穩定性和魯棒性

穩定性是指模型對於輸入資料的小變化能夠產生可接受的結果。
也就是說,如果輸入資料在一定範圍內發生微小變化,模型的輸出結果也會相應地按照相同的排列順序發生微小變化,而不是發生較大的顛覆性變化。

魯棒性則是指模型在一定條件下對於某些效能的保持能力。
也就是說,當輸入資料中存在噪聲、異常值或不完全資訊時,模型能夠通過適當的處理和演演算法,保持其原有的效能表現,不會因為這些干擾因素而出現大幅度效能下降。

在實際應用中,穩定性魯棒性往往是相互制約的。
過於強調穩定性可能導致模型過於簡單,無法處理複雜的資料特徵;
而過於強調魯棒性可能導致模型過於複雜,容易受到噪聲和異常值的影響。
因此,需要根據實際應用場景和資料特點來權衡考慮這兩種效能指標,以實現最優的效能表現。

正則化可以通過對模型的複雜性進行懲罰,使得模型對於輸入資料的小變化不會產生太大的影響,從而提高了模型的穩定性魯棒性

2.3. 提高泛化能力

泛化能力是指模型在未曾見過的資料上的表現能力,也就是模型對於新的資料的適應能力。

正則化可以通過對模型的複雜性進行懲罰,使得模型更加專注於訓練資料中的重要特徵,而不是被訓練資料中的噪聲和異常值所迷惑。
這樣可以在一定程度上提高模型的泛化能力,使得模型在未知資料上的表現更好。

3. 總結

scikit-learn中,主要有三種正則化方法,L1正則化,L2正則化和Max正則化。
實際應用中,根據資料的特徵和場景對資料選擇不同的正則化方法,使得訓練後的模型能夠有更好的精度和效能。