資料丟失在現實生活中是一個問題。 機器學習和資料挖掘等領域由於資料缺失導致資料品質差，因此在模型預測的準確性方面面臨嚴峻的問題。 在這些領域，缺失值處理是使模型更加準確和有效的關鍵。
讓我們考慮一個產品的線上調查。 很多時候，人們不會分享與他們有關的所有資訊。 很少有人分享他們的經驗，但他們沒有多久使用該產品; 很少有人分享他們使用產品的時間，他們的經驗，但不是他們的聯絡資訊。 因此，以某種方式或其他方式，一部分資料總是會丟失，這在實時中非常普遍。
現在來看看如何處理使用Pandas的缺失值(如NA或NaN)。
# import the pandas library
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print (df)
它將輸出如下結果 -
one two three
a 0.077988 0.476149 0.965836
b NaN NaN NaN
c -0.390208 -0.551605 -2.301950
d NaN NaN NaN
e -2.000303 -0.788201 1.510072
f -0.930230 -0.670473 1.146615
g NaN NaN NaN
h 0.085100 0.532791 0.887415
使用reindexing，建立了一個缺失值的DataFrame。 在輸出中，NaN表示不是數位。
檢查缺失值
為了更容易地檢測缺失值(以及跨越不同的陣列dtype)，Pandas提供了isnull()和notnull()函式，它們也是Series和DataFrame物件的方法 -
範例
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print (df['one'].isnull())
它將輸出如下結果 -
a False
b True
c False
d True
e False
f False
g True
h False
Name: one, dtype: bool
Pandas提供了各種方法來清除缺失值。 fillna函式可以通過幾種方式用非空資料「填充」NA值，我們在後面的章節中將解釋說明。
以下程式顯示了如何將「NaN」替換為「0」。
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(3, 3), index=['a', 'c', 'e'],columns=['one',
'two', 'three'])
df = df.reindex(['a', 'b', 'c'])
print (df)
print ("NaN replaced with '0':")
print (df.fillna(0))
它將輸出如下結果 -
one two three
a -0.576991 -0.741695 0.553172
b NaN NaN NaN
c 0.744328 -1.735166 1.749580
NaN replaced with '0':
one two three
a -0.576991 -0.741695 0.553172
b 0.000000 0.000000 0.000000
c 0.744328 -1.735166 1.749580
在這裡，填充零值; 相反，我們也可以填寫任何其他值。
使用ReIndexing章節討論的填充概念，這裡將學習如何填補缺失的值。
| 方法 | 操作 |
|---|---|
pad/fill |
向前填充方法 |
bfill/backfill |
向後填充方法 |
範例程式碼
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print (df.fillna(method='pad'))
執行上面範例程式碼，得到以下輸出結果 -
one two three
a 0.077988 0.476149 0.965836
b 0.077988 0.476149 0.965836
c -0.390208 -0.551605 -2.301950
d -0.390208 -0.551605 -2.301950
e -2.000303 -0.788201 1.510072
f -0.930230 -0.670473 1.146615
g -0.930230 -0.670473 1.146615
h 0.085100 0.532791 0.887415
如果只想排除缺少的值，則使用dropna函式和axis引數。 預設情況下，axis = 0，即沿著一行行查詢，這意味著如果行內的任何值是NA，那麼排除整行。
範例
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print (df.dropna())
它將輸出如下結果 -
one two three
a 0.077988 0.476149 0.965836
c -0.390208 -0.551605 -2.301950
e -2.000303 -0.788201 1.510072
f -0.930230 -0.670473 1.146615
h 0.085100 0.532791 0.887415
很多時候，我們必須用一些特定的值替換一個通用值。 可以通過應用替換方法來實現這一點。
用標量值替換NA是fillna()函式的等效行為。
範例程式碼
import pandas as pd
import numpy as np
df = pd.DataFrame({'one':[10,20,30,40,50,2000],
'two':[1000,0,30,40,50,60]})
print (df.replace({1000:10,2000:60}))
執行上面範例程式碼，得到以下結果 -
one two
0 10 10
1 20 0
2 30 30
3 40 40
4 50 50
5 60 60