進程間通訊表示進程之間的資料交換。 為了開發並行應用程式,需要在進程間交換資料。 下圖顯示了多個子過程之間同步的各種通訊機制 -
在本節中,我們將了解各種通訊機制。 機制如下所述 -
佇列
佇列可以用於多進程程式。 多處理模組的Queue
類與Queue.Queue
類相似。 因此,可以使用相同的API。 Multiprocessing.Queue
提供了進程間通訊的執行緒和進程安全FIFO(先進先出)機制。
例子
下面是一個簡單的例子,從python官方文件多處理了解Queue類的多處理概念。
from multiprocessing import Process, Queue
import queue
import random
def f(q):
q.put([42, None, 'hello'])
def main():
q = Queue()
p = Process(target = f, args = (q,))
p.start()
print (q.get())
if __name__ == '__main__':
main()
執行上面範例程式碼,得到以下結果 -
[42, None, 'hello']
管道
它是一種資料結構,用於在多進程程式中的進程之間進行通訊。Pipe()
函式返回一對由管道連線的連線物件,預設情況下是雙工(雙向)。 它的工作原理如下 -
它返回一對代表管道兩端的連線物件。
每個物件都有兩個方法 - send()
和recv()
,以在進程之間進行通訊。
例子
下面是一個簡單的例子,摘自python官方文件多處理,以理解Pipe()
函式的多進程概念。
from multiprocessing import Process, Pipe
def f(conn):
conn.send([42, None, 'hello'])
conn.close()
if __name__ == '__main__':
parent_conn, child_conn = Pipe()
p = Process(target = f, args = (child_conn,))
p.start()
print (parent_conn.recv())
p.join()
執行上面程式碼,得到以下結果 -
[42, None, 'hello']
管理器
Manager是一類多處理模組,它提供了一種協調所有使用者之間共用資訊的方式。管理器物件控制伺服器進程,該進程管理共用物件並允許其他進程操縱它們。 換句話說,管理器提供了一種方法來建立可以在不同進程之間共用的資料。 以下是Manager
物件的不同屬性 -
例子
以下是使用管理器物件在伺服器進程中建立列表記錄,然後在該列表中新增新記錄的範例。
import multiprocessing
def print_records(records):
for record in records:
print("Name: {0}\nScore: {1}\n".format(record[0], record[1]))
def insert_record(record, records):
records.append(record)
print("A New record is added\n")
if __name__ == '__main__':
with multiprocessing.Manager() as manager:
records = manager.list([('Computers', 1), ('Histoty', 5), ('Hindi',9)])
new_record = ('English', 3)
p1 = multiprocessing.Process(target = insert_record, args = (new_record, records))
p2 = multiprocessing.Process(target = print_records, args = (records,))
p1.start()
p1.join()
p2.start()
p2.join()
執行上面程式碼,得到以下結果 -
A New record is added
Name: Computers
Score: 1
Name: Histoty
Score: 5
Name: Hindi
Score: 9
Name: English
Score: 3
管理器名稱空間的概念
Manager
類帶有名稱空間的概念,這是一種在多個進程間共用多個屬性的快速方法。 名稱空間不具有任何可以呼叫的公共方法,但它們具有可寫的屬性。
例子
以下Python指令碼範例如何使用名稱空間在主進程和子進程之間共用資料 -
import multiprocessing
def Mng_NaSp(using_ns):
using_ns.x +=5
using_ns.y *= 10
if __name__ == '__main__':
manager = multiprocessing.Manager()
using_ns = manager.Namespace()
using_ns.x = 1
using_ns.y = 1
print ('before', using_ns)
p = multiprocessing.Process(target = Mng_NaSp, args = (using_ns,))
p.start()
p.join()
print ('after', using_ns)
執行上面範例程式碼,得到以下結果 -
before Namespace(x = 1, y = 1)
after Namespace(x = 6, y = 10)
Multiprocessing
模組提供了Array
和Value
物件,用於將資料儲存在共用記憶體對映中。 Array是從共用記憶體分配的Array
和Value
是從共用記憶體分配的ctypes
物件。
Multiprocessing
模組匯入Process
,Value
,Array
。
例子
下面的Python指令碼是一個從python文件中獲取的例子,它利用Ctypes Array
和Value
在進程間共用一些資料。
def f(n, a):
n.value = 3.1415927
for i in range(len(a)):
a[i] = -a[i]
if __name__ == '__main__':
num = Value('d', 0.0)
arr = Array('i', range(10))
p = Process(target = f, args = (num, arr))
p.start()
p.join()
print (num.value)
print (arr[:])
執行上面範例程式碼,得到以下結果 -
3.1415927
[0, -1, -2, -3, -4, -5, -6, -7, -8, -9]
CSP用於說明系統與具有並行模型的其他系統的互動。 CSP是通過訊息傳遞編寫並行或程式設計的框架,因此它對於描述並行是有效的。
要實現在CSP中找到的核心原語,Python有一個名為PyCSP的庫。 它使實現非常簡短和易讀,因此可以非常容易地理解它。 以下是PyCSP的基本流程網路 -
在上面的PyCSP過程網路中,有兩個過程 - 進程1和進程2。這些過程通過傳遞訊息通過兩個通道 - 通道1和通道2進行通訊。
安裝PyCSP
通過以下命令來安裝Python的PyCSP庫 -
pip install PyCSP
例子
下面的Python指令碼是一個簡單的例子,它可以並行執行兩個進程。 它是在PyCSP庫的幫助下完成的 -
from pycsp.parallel import *
import time
@process
def P1():
time.sleep(1)
print('P1 exiting')
@process
def P2():
time.sleep(1)
print('P2 exiting')
def main():
Parallel(P1(), P2())
print('Terminating')
if __name__ == '__main__':
main()
在上面的指令碼中,已經建立了兩個函式,即P1
和P2
,然後用@process
進行裝飾,將它們轉換為進程。執行上面程式碼後,得到以下輸出結果 -
P2 exiting
P1 exiting
Terminating