多卡並行是指在訓練深度學習模型時，使用多個GPU進行計算加速的方法。這種方法可以分為數據並行和模型並行兩種方式。
數據並行是目前較為常見的一種並行方式，其主要思想是將模型參數複製到多個GPU上，每個GPU上都有一份模型的副本。在每次疊代過程中，每個GPU分別處理不同的數據批次，並計算梯度。這些梯度隨後被聚合到主GPU上，主GPU使用最佳化器更新模型參數，並將更新後的參數同步到其他GPU上。這種方式使得模型能夠在多個GPU上同時進行訓練，從而加速訓練過程。
在PyTorch中，實現數據並行可以使用`torch.nn.parallel.DataParallel`或`torch.distributed.DistributedDataParallel`。例如，使用`DataParallel`時，需要將模型和其參數複製到所有GPU上，並在每個GPU上運行模型的計算過程。`DistributedDataParallel`則支持分散式訓練，可以在多個節點上使用多個GPU進行訓練。