本教學假定你已經對於 PyToch 訓練一個簡單模型有一定的基礎理解。本教學將展示使用 3 種封裝層級不同的方法呼叫 DDP (DistributedDataParallel) 程序,在多個 GPU 上訓練同一個模型:
pytorch.distributed