Transformers documentation

并行方法

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.23.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

并行方法

多 GPU 配置可有效加速训练,并让原本无法装入单块 GPU 显存的大模型得以在内存中运行。其核心在于将工作负载在多个 GPU 之间进行并行化。并行方式有多种,例如数据并行、张量并行、流水线并行和模型并行。每种并行方式对负载的切分方式各不相同,切分的对象可能是数据,也可能是模型。

本指南将介绍各种并行方法、如何组合使用它们,以及如何为您的环境选择合适的策略。有关分布式训练的更多详细信息,请参阅 Accelerate 文档。

如需了解扩展大型语言模型的全面指南,请参阅 Ultrascale Playbook,其中提供了大规模训练的详细策略和最佳实践。

可扩展性策略

使用 Model Memory Calculator 计算模型所需的内存量。然后参考下表,根据你的配置选择合适的策略。

设置场景strategy
单节点/多 GPU可适配单张 GPUDistributedDataParallel 或 ZeRO
无法在单个 GPU 上运行PipelineParallel、ZeRO 或 TensorParallel
最大的模型层无法容纳TensorParallel 或 ZeRO
多节点/多 GPU节点间高速互联(NVLink 或 NVSwitch)ZeRO 或 3D 并行(PipelineParallel、TensorParallel、DataParallel)
节点间连接速度较慢ZeRO 或 3D 并行(PipelineParallel、TensorParallel、DataParallel)

数据并行

数据并行将数据均匀地分配到多个 GPU 上。每个 GPU 都保存一份模型副本,并并行处理其分配到的数据部分。最后,来自各个 GPU 的结果会被同步并合并。

数据并行通过并行处理数据显著缩短了训练时间,并且可以扩展到可用的 GPU 数量。然而,同步来自每个 GPU 的结果可能会带来额外的开销。

数据并行有两种类型:DataParallel (DP) 和 DistributedDataParallel (DDP)。

DataParallel

DataParallel 支持在配备多块 GPU 的单台机器上进行分布式训练。

  1. 默认 GPU GPU 0 读取一批数据,并将其中的一个 mini batch 发送到其他 GPU。
  2. 最新的模型从 GPU 0 复制到其他 GPU。
  3. 在每张 GPU 上执行一次 forward 前向传播,并将它们的输出发送到 GPU 0 以计算损失。
  4. 损失从 GPU 0 分发到其他 GPU,用于 backward 过程。
  5. 来自每个 GPU 的梯度会被发送回 GPU 0 并进行平均。

DistributedDataParallel

DistributedDataParallel 支持在多台机器上跨多个 GPU 进行分布式训练。

  1. 主进程将模型从默认 GPU GPU 0 复制到每个 GPU。
  2. 每个 GPU 直接处理一个 mini batch 的数据。
  3. 在 backward 过程中,本地梯度会在所有 GPU 之间进行平均。

推荐使用 DDP,因为它能降低 GPU 之间的通信开销,高效利用每个 GPU,并且可以扩展到多台机器。

ZeRO 数据并行

Zero Redundancy Optimizer 是一种内存效率更高的数据并行类型。它通过将参数、梯度和优化器状态划分到不同的数据并行进程中来降低内存占用,从而显著提升内存效率。ZeRO 共有三个阶段:

  • 阶段 1 对优化器状态进行分区
  • Stage 2 对优化器状态和梯度状态进行分区
  • Stage 3 对优化器、梯度和参数进行分区

模型并行

模型并行将模型分布到多个 GPU 上。拆分模型有多种方式,但典型的方法是将模型层分布到各个 GPU 上。在 forward 过程中,第一个 GPU 处理一批数据,并将其传递给下一个 GPU 上的下一组层。对于 backward 过程,数据从最后一层反向传递到第一层。

模型并行是一种有用的策略,用于训练大到无法装入单个 GPU 内存的模型。然而,由于每次只有一个 GPU 处于活跃状态,GPU 利用率并不均衡。在 GPU 之间传递结果还会增加通信开销,并可能成为性能瓶颈。

流水线并行

流水线并行(Pipeline parallelism)在概念上与模型并行非常相似,但由于它减少了 GPU 的空闲时间,因此效率更高。流水线并行不再等待每个 GPU 处理完一个数据批次,而是将数据划分为微批次(micro-batches)。一旦某个微批次处理完毕,就会立即传递给下一个 GPU。这样,每个 GPU 都可以并发处理数据的一部分,而无需等待其他 GPU 完全处理完一个迷你批次的数据。

流水线并行与模型并行具有相同的优势,但它能优化 GPU 利用率并减少空闲时间。不过,流水线并行可能更为复杂,因为模型可能需要被重写为 nn.Sequential 模块的序列,而且由于最后一个 forward 过程也必须等待 backward 过程完成,所以无法完全消除空闲时间。

张量并行

张量并行将大型张量计算分布在多个 GPU 上。张量会被水平或垂直切片,每个切片由一个独立的 GPU 处理。每个 GPU 对其张量切片执行计算,最终同步结果以重建最终输出。

张量并行对于训练无法装入单个 GPU 内存的大型模型非常有效。由于每个 GPU 可以并行处理其张量切片,因此它速度更快、效率更高,并且可以与其他并行方法结合使用。不过,与其他并行方法一样,张量并行会增加 GPU 之间的通信开销。

请参阅 Tensor parallelism 指南,了解如何将其用于推理。

混合并行

可以组合使用多种并行方法,以实现更大的显存节省,并更高效地训练具有数十亿参数的模型。

数据并行与流水线并行

数据并行和流水线并行将数据分布到各个 GPU 上,并将每个 mini batch 数据划分为 micro-batch,以实现流水线并行。

每个数据并行 rank 都将该进程视为只有一块 GPU,而不是两块,但 GPU 0 和 1 可以将数据微批次卸载到 GPU 2 和 3,从而减少空闲时间。

该方法通过降低 GPU 空闲利用率来优化并行数据处理。

ZeRO 数据并行、流水线并行和模型并行(3D 并行)

数据并行、流水线并行和模型并行相结合,形成3D 并行,以优化内存和计算效率。

内存效率是通过将模型拆分到多个 GPU 上,并将其划分为多个阶段以构建流水线来实现的。这使得 GPU 能够并行处理数据微批次,从而降低模型、优化器和激活值的内存占用。

计算效率得益于 ZeRO 数据并行,其中每个 GPU 仅存储模型、优化器和激活值的一个切片。这使得数据并行节点之间可以实现更高的通信带宽,因为通信可以独立于其他流水线阶段进行,也可以与其他流水线阶段并行进行。

这种方法可扩展至拥有数万亿参数的超大规模模型。

Update on GitHub