本文介紹基於Python下OneHotEncoder
與pd.get_dummies
兩種方法,實現機器學習中最優的編碼方法——獨熱編碼的方法。
在資料處理與分析領域,對數值型與字元型類別變數加以編碼是不可或缺的預處理操作;這裡介紹兩種不同的方法。
首先匯入必要的模組。
import pandas as pd
from sklearn.preprocessing import OneHotEncoder
其中,OneHotEncoder
是我們實現獨熱編碼的關鍵模組。
接下來,匯入並顯示資料前五行。
test_data_1=pd.read_csv('G:/CropYield/03_DL/00_Data/onehot_test.csv',names=['EVI0610','EVI0626','SoilType'],header=0)
test_data_1.head(5)
關於這裡匯入資料程式碼的解釋,大家可以檢視多變數兩兩相互關係聯合分佈圖的Python繪製與Python TensorFlow深度學習迴歸程式碼:DNNRegressor這兩篇文章,這裡就不再贅述啦~
資料前五行展示如下圖。其中,前兩列'EVI0610'
與'EVI0626'
為數值型連續變數,而'SoilType'
為數值型類別變數。我們要做的,也就是將第三列'SoilType'
進行獨熱編碼。
接下來,進行獨熱編碼的設定。
ohe=OneHotEncoder(handle_unknown='ignore')
ohe.fit(test_data_1)
在這裡,第一行是對獨熱編碼的設定,第二行則是對我們剛剛匯入的資料進行獨熱編碼處理。得到一個獨熱編碼設定的輸出結果。
接下來,看看獨熱編碼處理後,將我們的資料分成了哪些類別。
ohe.categories_
得到結果如下圖。
可以發現,一共有三個array
,為什麼呢?仔細看可以發現,獨熱編碼是將我們匯入的三列資料全部都當作類別變數來處理了。之所以會這樣,是因為我們在一開始沒有表明哪一列是類別變數,需要進行獨熱編碼;而哪一列不是類別變數,從而不需要進行獨熱編碼。
那麼,我們如何實現上述需求,告訴程式我們要對哪一行進行獨熱編碼呢?在老版本的sklearn
中,我們可以藉助categorical_features=[x]
引數來實現這一功能,但是新版本sklearn
取消了這一引數。那麼此時,一方面,我們可以藉助ColumnTransformer
來實現這一過程,另一方面,我們可以直接對需要進行轉換的列加以處理。後者相對較為容易理解,因此本文對後者進行講解。
我們將test_data_1
中的'SoilType'
列作為索引,從而僅僅對該列資料加以獨熱編碼。
ohe_column=pd.DataFrame(ohe.fit_transform(test_data_1[['SoilType']]).toarray())
ohe_column.head(5)
其中,[['SoilType']]
表示僅僅對這一列進行處理。得到結果如下圖。
可以看到,原來的'SoilType'
列現在成為了63
列的編碼列,那麼這樣的話,說明我們原先的'SoilType'
應該一共是有63
個不同的數值。是不是這個樣子呢?我們來檢查一下。
count=pd.DataFrame(test_data_1['SoilType'].value_counts())
print(count)
得到結果如下。
好的,沒有問題:可以看到此結果共有63
行,也就是'SoilType'
列原本是有63
個不同的值的,證明我們的獨熱編碼沒有出錯。
此時看一下我們的test_data_1
資料目前長什麼樣子。
test_data_1.head(5)
是的,我們僅僅對'SoilType'
列做了處理,沒有影響到整個初始資料。那麼先將原本的'SoilType'
列剔除掉。
test_data_1=test_data_1.drop(['SoilType'],axis=1)
test_data_1.head(5)
再將經過獨熱編碼處理後的63
列加上。
test_data_1.join(ohe_column)
大功告成!
但是這裡還有一個問題,我們經過獨熱編碼所得的列名稱是以數位來命名的,非常不方便。因此,有沒有什麼辦法可以在獨熱編碼進行的同時,自動對新生成的列加以重新命名呢?
pd.get_dummies
是一個最好的辦法!其具體用法與上述OneHotEncoder
類似,因此具體過程就不再贅述啦,大家看程式碼就可以明白。
首先還是匯入與上述內容中一致的初始資料。
test_data_2=pd.read_csv('G:/CropYield/03_DL/00_Data/onehot_test.csv',names=['EVI0610','EVI0626','SoilType'],header=0)
test_data_2.head(5)
進行獨熱編碼並看看結果。
test_data_2_ohe=pd.get_dummies(test_data_2,columns=['SoilType'])
test_data_2_ohe.head(5)
最終結果中,列名稱可以說是非常醒目,同時,共有65
列資料,自動刪除了原本的'SoilType'
列,實現了「獨熱編碼」「新列重新命名」與「原始列刪除」,可謂一舉三得,簡直是太方便啦~