Numpy 是一個開源的Python科學計算庫,用於快速處理任意維度的陣列
Numpy 支援常見的陣列和矩陣操作。對於同樣的數值計算任務,使用Numpy 比直接使用Python要簡潔得多
Numpy 使用 ndarray 物件來處理多維陣列,該物件是一個快速而靈活的巨量資料容器
Numpy 提供了一個核心的資料結構——N維陣列型別ndarray ,它描述了相同型別的 「items」 集合
ndarray與Python的原生 list 比較,其效率遠遠高於 list
機器學習與深度學習的最大特點就是大量的資料運算,那麼如果沒有一個快速的解決方案,那麼可能現在Python也在機器學習領域也無法達到好的效果
Numpy 專門針對 ndarray 的操作和運算進行了設計,所以陣列的儲存效率和輸入輸出效能遠優於Python中的巢狀列表,陣列越大,Numpy 的這種優勢就越發明顯
ndarray 支援並行化運算(向量化運算),適合於機器學習
Numpy 底層使用C語言編寫,內部解除了GIL(全域性直譯器鎖),其對陣列的操作速度不受Python直譯器的限制,效率遠高於純Python程式碼;並且支援多執行緒
Numpy 中的函數與方法只能作用於 ndarray 物件(重要)
ndarray 建立的陣列中,要求其各元素的資料型別都是相同的,與Python的原生 list 不同,Python的原生 list 可以儲存不同資料型別的資料(重要)
通過呼叫以下方法可以存取到屬性值
屬性名 | 含義 |
---|---|
ndarray.shape | 陣列的維度形狀,是一個元組 |
ndarray.ndim | 陣列維度數 |
ndarray.size | 陣列中的元素總數量 |
ndarray.itemsize | 陣列中一個元素的長度(位元組) |
ndarray.dtype | 陣列元素的型別 |
匯入模組:
import numpy as np
陣列名 = np.array(N維陣列)
使用ndarray建立一個N維陣列
陣列名 = np.array(N維陣列, dtype=np.?)
指定資料型別地建立一個N維陣列
dtype=np. 資料型別屬性,如:dtype=np.int64,也可以使用簡寫 dtype=‘i8’,後面會詳細介紹
例:建立陣列
import numpy as np
"""建立一個一維陣列(3, )"""
list1 = np.array([1, 2, 3])
"""建立一個三維陣列(2, 2, 3)"""
list2 = np.array([[[1, 2, 3], [4, 5, 6]], [[1, 2, 3], [4, 5, 6]]])
形狀如圖所示:
它們的 shape 屬性分別是:(3, ) 和 (2, 2, 3)
維度的觀察應該是從外到內,由大到小——得到形狀 shape:
提示:由於 shape 是一個元組,因此可以用 shape 的下標來存取 shape 中的具體值,如:三維陣列 temp 的元素個數為:sum = temp.shape[0] * temp.shape[1] * temp.shape[2]
名稱 | 含義 | 簡寫 |
---|---|---|
np.bool | 用一個位元組儲存的布林型別(Ture或False) | ‘b’ |
np.int8 | 一個位元組大小,-128~127 | ‘i’ |
np.int16 | 整數,-32768~32767 | ‘i2’ |
np.int32 | 整數,-231~231-1 | ‘i4’ |
np.int64 | 整數,-263~263-1 | ‘i8’ |
np.unit8 | 無符號整數,0~255 | ‘u’ |
np.unit16 | 無符號整數,0~65535 | ‘u2’ |
np.unit32 | 無符號整數,0~232-1 | ‘u4’ |
np.unit64 | 無符號整數,0~264-1 | ‘u8’ |
np.float16 | 半精度浮點數,16位元,正負號1位,整數5位,精度10位 | ‘f2’ |
np.float32 | 單精度浮點數,32位元,正負號1位,整數8位元,精度23位 | ‘f4’ |
np.float64 | 雙精度浮點數,64位元,正負號1位,整數11位,精度52位 | ‘f8’ |
np.complex64 | 複數,分別用兩個32位元浮點數表示實部和虛部 | ‘c8’ |
np.complex128 | 複數,分別用兩個64位元浮點數表示實部和虛部 | ‘c16’ |
np.object_ | Python物件 | ‘O’ |
np.string_ | 字串 | ‘S’ |
np.unicode_ | unicode型別 | ‘U’ |
在通過 dtype=np.? 指定資料型別時,可以使用名稱或簡寫
(1)生成0和1的陣列:
陣列名 = np.zeros(shape=?, dtype=?)
生成元素均為0的陣列
shape 指定陣列的形狀陣列名 = np.ones(shape, dtype=?)
生成元素均為1的陣列
shape 指定陣列的形狀
例:指定為 py.int8 型別
(2)從現有陣列中生成:
新陣列 = np.array(舊陣列)
深拷貝舊陣列
新陣列 = np.copy(舊陣列)
深拷貝舊陣列
陣列名 = np.asarray(舊陣列)
淺拷貝舊陣列
陣列名.flatten()
將多維陣列拍扁成一維陣列,順序不變,並返回新的陣列
注:只返回新陣列,不改變原陣列
(3)生成固定範圍的有序陣列:
np.linspace(start, stop, num, endpoint, retstep, dtype)
在 [start, stop] 之間生成元素值等間距的陣列,元素個數為sum 個
start 陣列的起始值,該值包含在內
stop 陣列的終止值,該值包含在內
num 要生成的等間距的元素個數,預設為50個(如果 endpoint=True,則該值必須指定)
endpoint 陣列中是否包含 stop 值,預設為 True
retstep 如果為True,則返回樣例,以及連續數位之間的步長
dtype 輸出 ndarray 的資料型別np.arange([start, ]stop[, step])
在 [start, stop) 之間,用法和Python中的 range() 一樣
例:
(4)生成亂陣列:
生成亂陣列,包括兩種分佈狀況:均勻分佈 和 正態分佈
需要使用 np.random 模組
均勻分佈:
np.random.rand(d0, d1,…,dn)
從 [0.0, 1.0) 之間生成一個均勻分佈的亂數陣列,d0~dn可以指定其陣列形狀,如:np.random.rand(2, 3),生成 shape=(2, 3) 的二維陣列
rand() 即沒有指定形狀,返回一個浮點數np.random.uniform(low=0.0, high=1.0, size=None)
從 [low, high) 之間生成一個均勻分佈的亂數陣列
low 取樣下界,float 型別,預設值為0.0
high 取樣上界,float 型別,預設值為1.0
size 輸出樣本數目,為 int 或 shape ,例如:size=(m, n, k),則生成 shape=(m, n, k) 的陣列,預設時生成一個元素
例:np.random.rand(…)
np.random.rand()
返回一個浮點數
np.random.rand(1)
返回一個包含1個元素的一維陣列
np.random.rand(2)
返回一個包含2個元素的一維陣列
np.random.rand(5, 8)
返回一個包含5 × 8 = 40個元素的二維陣列
例:np.random.rand(…) 的均勻度驗證
import numpy as np
import matplotlib.pyplot as plt
temp_list = np.random.rand(1000000)
"""繪圖"""
plt.figure(figsize=(5, 5), dpi=100)
plt.hist(temp_list, 100)
plt.show()
例:np.random.uniform(…) 的均勻度驗證
import matplotlib.pyplot as plt
temp_list = np.random.uniform(low=0.0, high=1.0, size=1000000)
plt.figure(figsize=(5, 5), dpi=100)
plt.hist(temp_list, 100)
plt.show()
正態分佈:
正態分佈是一種概率分佈,它是具有有兩個引數 μ 和 σ 的連續型隨機變數的分佈,其中 μ 是服從正太分佈的隨機變數的均值;σ2 是此隨機變數的方差,所以正態分佈記作 x~N (μ, σ2)
簡單來說, μ 決定了正態分佈圖 對稱軸的位置/最大值點;而 σ 則決定了正態分佈圖的 粗細程度 和 最大值
此外,x~N (0, 1) 被稱為標註正態分佈
np.random.randn(d0, d1,…,dn)
從標準正態分佈中生成一個陣列,d0~dn可以指定其陣列形狀,如:np.random.randn(2, 3),生成 shape=(2, 3) 的二維陣列
randn() 即沒有指定形狀,返回一個浮點數np.random.normal(loc=0.0, scale=1.0, size=None)
以正態分佈的概率生成一個陣列
loc 概率分佈的均值 μ,float 型別,預設值為0.0
scale 概率分佈的標準差 σ,float 型別,預設值為1.0
size 輸出樣本數目,為 int 或 shape ,例如:size=(m, n, k),則生成 shape=(m, n, k) 的陣列,預設時生成一個元素
例:np.random.randn(…) 與 np.random.normal(…) 的正態分佈驗證
import numpy as np
import matplotlib.pyplot as plt
temp_list = np.random.randn(1000000)
plt.figure(figsize=(5, 5), dpi=100)
plt.hist(list1, 1000)
plt.show()
import numpy as np
import matplotlib.pyplot as plt
temp_list = np.random.normal(loc=0.0, scale=1.0, size=1000000)
plt.figure(figsize=(5, 5), dpi=100)
plt.hist(list1, 1000)
plt.show()
索引陣列中的某一元素:
陣列名[d0, d1,…,dn]
存取陣列的某一元素
d0, d1,…,dn 按形狀分佈的下標選取即可
切片/存取一維陣列中某一範圍的元素:
陣列名[start:stop]
切片/存取—→行下標在 [start, stop) 區間內的陣列元素,返回一個陣列
切片/存取二維陣列中某一範圍的元素:
陣列名[row, [start:stop]]
切片/存取二維陣列 中—→行下標為 row ,列下標在 [start, stop) 區間內的陣列元素,返回一個陣列
當 start:stop 預設時,表示存取—→行下標為 row 的行
row 也可以寫成 start:stop 的形式,表示行下標在 [start, stop) 區間的範圍內
切片/存取三維陣列中某一範圍的元素:
陣列名[axis[, row][, start:stop]]
切片/存取三維陣列中—→軸下標為 axis,行下標為 row,列下標在下標在 [start, stop) 區間內的陣列元素,返回一個陣列
當 row, start:stop 預設時,表示存取—→軸下標為 axis 的平面
當 start:stop 預設時,表示存取—→軸下標為 axis,行下標為 row的行
axis 也可以寫成 start:stop 的形式,表示軸下標在 [start, stop) 區間的範圍內
row 也可以寫成 start:stop 的形式,表示行下標在 [start, stop) 區間的範圍內
例:
此外,axis 或 row 也可以用 start:stop 代替:
如:陣列名[0:2, 0:5] 表示陣列的第0~1行中的第0~4列的元素
陣列物件呼叫方法:
陣列名.reshape(shape)
把當前陣列返回為 shape 的形狀,元素的所有順序 [start, stop) 並不發生改變
注:只返回新陣列,不改變原陣列陣列名.resize(shape)
直接對當前陣列進行修改,改變原陣列,沒有返回值,元素的所有順序 [start, stop) 並不發生改變
陣列名.T
返回一個 轉置 後的二維陣列,把行變為列,把列變為行,元素的所有順序 [start, stop) 發生了改變
注:只返回新陣列,不改變原陣列
例:陣列名.reshape(shape)
例:使用 陣列名.reshape(shape) 時,如果只想指定列數不想計算行數可以用 -1 代替
例:陣列名.T
陣列名.astype(dtype)
將當前陣列的資料型別轉化為 dtype,並返回
注:只返回新陣列,不改變原陣列陣列名.tobytes()
把陣列轉化成二進位制的 bytes 型別儲存並返回,序列化到本地時使用
注:只返回新陣列,不改變原陣列
- 如果遇到 IOPub data rate exceeded 錯誤,原因是:
在 Jupyter Notebook 中對輸出的位元組數有限制,可以修改組態檔
不過這個錯誤僅僅影響顯示出來的內容數,對函數的功能沒有影響,不必理會
np.unique(陣列)
將陣列拍扁為一維陣列(即可以作用於多維陣列),並進行去重,返回新陣列
注:只返回新陣列,不改變原陣列
例:
直接使用陣列名的邏輯表示式 ⇨ 布林陣列
布林運算表示式 ⇨ 布林陣列
進行基本的邏輯運算,該表示式記為「布林陣列」(重要)
布林陣列:由 True 或 False 組成的陣列
例:
例:
陣列名[布林陣列]
布林索引,索引布林值中為 True 的元素,並返回這些元素組成的陣列
下標存取陣列的一種辦法——布林索引陣列名[布林陣列] = 值
將布林陣列中為 True 的元素進行統一的賦值,並返回新陣列(基於布林陣列中的舊陣列)
例:
例:
通用判斷函數:
np.all(布林陣列)
布林陣列中只要有一個 False 就返回 False
np.any(布林陣列)
布林陣列中只要有一個 True 就返回 True
例:np.all(布林陣列)
例:np.any(布林陣列)
三元運運算元:
np.where(布林陣列, data1, data2)
判斷布林陣列中的內容,True 的元素全部賦值為 data1,False 的元素全部賦值為 data2,,並返回新陣列(基於布林陣列中的舊陣列)
例:
想要進行更復雜的運算,需要使用布林運算運算函數:
布林運算運算函數 | 含義 |
---|---|
np.logical_and(布林陣列1, 布林陣列2) | 邏輯與 |
np.logical_or(布林陣列1, 布林陣列2) | 邏輯或 |
np.logical_not(布林陣列1, 布林陣列2) | 邏輯非 |
np.logical_xor(布林陣列1, 布林陣列2) | 邏輯互斥或 |
例:把陣列中 > 0.5 或 < -0.5 的元素置1,否則置0
在資料探勘/機器學習領域,統計指標的值也是我們分析問題的一種方式,常用的有:最大值max、最小值min、平均值mean、中位數median、方差var、標準差std 等
統計相關函數:
統計運算函數 | 含義 |
---|---|
np.max(陣列[, axis=]) | 找到陣列中最大值元素 |
np.min(陣列[, axis=]) | 找到陣列中最小值元素 |
np.mean(陣列[, axis=]) | 統計陣列的平均值 |
np.median(陣列[, axis=]) | 找到陣列的中位數 |
np.var(陣列[, axis=]) | 統計陣列的方差 |
np.std(陣列[, axis=]) | 統計陣列的標準差 |
例:按行統計最大值
尋找最大值、最小值所在位置:
np.argmax(陣列[, axis=])
找到陣列中最大值元素,返回其所在位置——下標
np.argmin(陣列[, axis=])
找到陣列中最小值元素,返回其所在位置——下標
例:尋找最大值的位置,分別用 總體 和 按行
注:Python的原生 list 是沒有這些功能的
陣列與數之間的運算:
例:
例:
陣列與陣列之間的運算:
若想要讓兩不同形狀的陣列之間能夠進行運算,它們需要滿足廣播機制
解析——推導(重點):
我們發現,不同的陣列之間的運算,不論它們是不是同維陣列,只要它們的 shape 中同一列所對應的值是相等的,那麼它們之間就能夠一一對應,那麼它們之間就是可運算的
此外,除了 shape 同一列的一一對應之外,我們發現,若 shape 的某一列中其中一個是1,那麼這個1就可以對應另一個陣列在該列上的所有元素,稱為一對多,那麼這種一對多的對應也是可以運算的
廣播機制:
當操作兩個陣列時,numpy會逐個比較它們的 shape(構成的元組 tuple),只有在 shape 中每一列對應的數 滿足下述所有條件下,兩個陣列之間才能進行陣列與陣列的運算:
那麼兩陣列之間就是可運算的,滿足廣播機制後,那麼陣列之間的運算就是簡單的——對應的元素通過運運算元號進行運算即可 (+、-、*、/)
例:
A (256, 256, 3)
B (3, )
在 col(d2) 列上,滿足3對應3,因此A、B之間是可運算的
A (9, 1, 7, 1)
B (8, 1, 5)
在 axis(d0) 列上,滿足1對8;在 row(d1) 列上,滿足1對7;在 col(d2) 列上,滿足1對5,因此A、B之間是可運算的
A (5, 4)
B (1, )
在 col 列上,滿足1對4,因此A、B之間是可運算的
A (15, 3, 5)
B (15, 1, 1)
在 axis(d0) 列上,滿足15對應15;在 row(d1) 列上,滿足1對3;在 col(d2) 列上,滿足1對5,因此A、B之間是可運算的
A (10, )
B(12, )
在 col 列上,10和12無法對應,顯然A、B之間不可運算
A (2, 1)
B (8, 4, 3)
雖然在 col(d1) 列上,滿足1對3;但是在 row(d0) 列上,2和4無法對應,顯然A、B之間不可運算
例:陣列與陣列之間的運算
顯然,運算結果為new_array = [[1 * 10, 2 * 20], [3 * 10, 4 * 20]]
儲存矩陣的兩種方式:
矩陣名 = np.array()
ndarray 儲存矩陣
矩陣名 = np.mat()
matrix 儲存矩陣
矩陣 matrix 是 《線性代數》 中的概念,它必須是2維的,矩陣之間的 乘運算 的幾何意義是 向量積——叉乘
其運算方法為:
np.matmul(a, b, out=None)
兩個numpy矩陣相乘
np.dot(a, b)
可用於兩個numpy矩陣相乘,也可以乘以標量
例:按照平時成績 0.4 和期末成績 0.6 的加權值來計算出最終成績
最終成績為 (8, 1) 的矩陣,而學生成績是 (8, 2) 的矩陣,因此,權值應該寫成 (2, 1) 的矩陣,即:
資料:
grade = np.array([[80, 86], [82, 80], [85, 78], [90, 90], [86, 82], [82, 90], [78, 80], [92, 94]])
import numpy as np
grade = np.array([[80, 86],
[82, 80],
[85, 78],
[90, 90],
[86, 82],
[82, 90],
[78, 80],
[92, 94]])
weighting = np.array([[0.4], [0.6]])
np.matmul(grade, weighting)
擴充套件:
matrix1 * matrix1
用 matrix 儲存的兩個矩陣可以直接用 * 相乘
ndarray1 @ ndarray2
用 ndarray 儲存的兩個矩陣可以用 @ 相乘
注:如果兩 ndarray 使用 * 來進行運算, ndarray 將被視作陣列,陣列之間的運算需要滿足廣播機制
在 np.matmul() 傳入N(N>2)維的陣列時,它會作如下的處理:
例:
import numpy as np
a = np.arange(2 * 2 * 4).reshape((2, 2, 4))
b = np.arange(2 * 2 * 4).reshape((2, 4, 2))
c = np.arange(1 * 2 * 4).reshape((1, 4, 2))
np.matmul(a, b)
np.matmul(a, c)
首先是 np.matmul(a, b):
對於矩陣 a,它在 np.matmul() 中會被理解成 兩個 2×4 的矩陣
對於矩陣 b,它在 np.matmul() 中會被理解成 兩個 4×2 的矩陣
因此運算結果為 out[ ] :
其次是 np.matmul(a, c):
因此運算結果為 out[ ] :
陣列水平合併/拼接:
np.hstack(*args)
對陣列元組 *args 中的陣列進行 水平 方向上的合併
*args 陣列元組,如:(ndarray1, ndarray2, … , ndarrayn)
例:
例:
陣列豎直合併/拼接:
np.vstack(*args)
對陣列元組 *args 中的陣列進行 豎直 方向上的合併
*args 陣列元組,如:(ndarray1, ndarray2, … , ndarrayn)
例:
np.concatenate(*args, axis=)
對陣列元組 *args 中的陣列進行 水平或豎直 方向上的合併
*args 陣列元組,如:(ndarray1, ndarray2, … , ndarrayn)
**kwargs 中,axis=? 可以指定進行 水平或豎直 的拼接
例:(注:這裡的 陣列b 進行了 T 轉置)
例:將第一行和第三行的資料進行水平拼接
資料:
stock_rate = [[1.18713375, 0.77624391, -0.47452542], [-1.22011298, 1.26038645, 0.10170957], [-0.67131837, 1.47798017, -0.69569189]]
陣列分割:
np.split(ndarray, indices_or_sections, axis=0)
對陣列進行指定份數的分割
ndarray 為需要分割的陣列
indices_or_sections 為指定的分割引數,可以是:
- 整數——平均分成整數份,如:3,即把 ndarray 平均分成3分
- 整數陣列——以陣列中的整數元素作為索引,索引對應 ndarray 中的元素作為分隔,如:[1, 2, 3],即把 ndarray 中索引為1、2、3的元素作為分隔,其中,分隔元素將作為下一個陣列的首元素
例:
例:
Numpy 讀取資料檔案:
np.genfromtxt(fname, delimiter=?)
把資料檔案讀取到 ndarray 陣列中
fname 檔案路徑和檔名,檔名包含擴充套件名
delimiter=? 分隔符,用於區元素
例:
發現,對於字串資料和空格資料都會讀取成 缺失值nan(dtype 為 float64)
如何處理缺失值?
思路1:
直接刪除含有缺失值的樣本
思路2:
替換/插補——按列求平均值,用平均值來填補 缺失值nan
例:替換/插補 nan 的函數定義
import numpy as np
def fill_nan_by_column_mean(t):
for i in range(t.shape[1]):
# 獲取nan的個數
nan_num = np.count_nonzero(t[:, i][t[:, i] != t[:, i]])
if nan_num > 0:
# 獲取當前列的元素
now_col = t[:, i]
# 求和
now_col_not_nan = now_col[np.isnan(now_col) == False].sum()
# 和/個數
now_col_mean = now_col_not_nan / (t.shape[0] - nan_num)
# 賦值給now_col
now_col[np.isnan(now_col)] = now_col_mean
# 賦值給t,即更新t的當前列
t[:, i] = now_col
return t
上述所用函數:
np.count_nonzero(ndarray, axis=None, *, keepdims=False)
用於統計陣列中非零元素的個數
ndarray 被統計的陣列
axis=None 指定是否按軸統計,指定後則按行/列分別進行非零元素的統計
keepdims 未知…np.isnan(ndarray)
逐個檢查 ndarray 中的值是否為 nan,並以布林陣列的形式返回
例:
在很多函數中,我們多使用到了 axis=0或1 的引數,但我們只是針對二維陣列來進行簡要說明,在這裡,我們將對 axis=0或1 的用法進行 N(N>2)維陣列 的展開:
在傳遞 axis=0或1 引數的函數中,我們需要明確一點:
那麼首先要對 N(N>2)維陣列 進行降維度,它會把 shape (d0, d1, d2, …, dn) 的 N(N>2)維陣列 先拆分成 d0 個 N-1(N>2)維陣列,這個時候 axis=0或1 就很好解讀了:
例:三維陣列
內部按列統計:
外部統計:
例:四維陣列
內部統計:
外部統計: