使用 Dask 在 Python 中進行平行計算

2019-04-17 22:24:00

Dask 庫可以將 Python 計算擴充套件到多個核心甚至是多台機器。

關於 Python 效能的一個常見抱怨是全域性直譯器鎖(GIL)。由於 GIL,同一時刻只能有一個執行緒執行 Python 位元組碼。因此,即使在現代的多核機器上,使用執行緒也不會加速計算。

但當你需要並行化到多核時,你不需要放棄使用 Python:Dask 庫可以將計算擴充套件到多個核心甚至多個機器。某些設定可以在數千台機器上設定 Dask,每台機器都有多個核心。雖然存在擴充套件規模的限制,但一般達不到。

雖然 Dask 有許多內建的陣列操作,但舉一個非內建的例子,我們可以計算偏度

import numpyimport daskfrom dask import array as darrayarr = dask.from_array(numpy.array(my_data), chunks=(1000,))mean = darray.mean()stddev = darray.std(arr)unnormalized_moment = darry.mean(arr * arr * arr)## See formula in wikipedia:skewness = ((unnormalized_moment - (3 * mean * stddev ** 2) - mean ** 3) /            stddev ** 3)

請注意,每個操作將根據需要使用盡可能多的核心。這將在所有核心上並行化執行,即使在計算數十億個元素時也是如此。

當然,並不是我們所有的操作都可由這個庫並行化,有時我們需要自己實現並行性。

為此,Dask 有一個“延遲”功能:

import daskdef is_palindrome(s):    return s == s[::-1]palindromes = [dask.delayed(is_palindrome)(s) for s in string_list]total = dask.delayed(sum)(palindromes)result = total.compute()

這將計算字串是否是回文並返回回文的數量。

雖然 Dask 是為資料科學家建立的,但它絕不僅限於資料科學。每當我們需要在 Python 中並行化任務時,我們可以使用 Dask —— 無論有沒有 GIL。