TRL documentation

Mendistribusikan Pelatihan

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Mendistribusikan Pelatihan

Pelatihan Multi-GPU dengan TRL

Trainer di TRL diluncurkan dengan torchrun, peluncur terdistribusi dari PyTorch. Ini memulai satu proses per GPU:

torchrun --nproc_per_node 8 train.py <SCRIPT_ARGS>

CLI trl melakukan hal yang sama di balik layar, sehingga trl sft ... berjalan di setiap GPU pada mesin tersebut; gunakan --nproc_per_node untuk mengurangi jumlahnya.

Di balik layar, 🤗 Accelerate membuat satu model per GPU. Setiap proses:

  • Memproses batch data miliknya sendiri
  • Menghitung loss dan gradien untuk batch tersebut
  • Berbagi pembaruan gradien di semua GPU

multi gpu

Ukuran batch efektif dihitung sebagai: Batch Size=per_device_train_batch_size×num_devices×gradient_accumulation_steps \text{Batch Size} = \text{per\_device\_train\_batch\_size} \times \text{num\_devices} \times \text{gradient\_accumulation\_steps}

Untuk mempertahankan ukuran batch yang konsisten saat melakukan scaling ke beberapa GPU, pastikan untuk memperbarui per_device_train_batch_size dan gradient_accumulation_steps secara sesuai.

Contoh, konfigurasi berikut setara dan harus menghasilkan hasil yang sama:

Jumlah GPUUkuran batch per perangkatLangkah akumulasi gradienKomentar
1321Kemungkinan penggunaan memori tinggi, tetapi pelatihan lebih cepat
148Penggunaan memori lebih rendah, pelatihan lebih lambat
841Multi-GPU untuk mendapatkan yang terbaik dari kedua dunia

Memiliki satu model per GPU dapat menyebabkan penggunaan memori yang tinggi, yang mungkin tidak layak untuk model besar atau GPU dengan memori rendah. Dalam kasus seperti itu, Anda dapat memanfaatkan DeepSpeed, yang menyediakan optimasi seperti model sharding, Zero Redundancy Optimizer, pelatihan presisi campuran, dan offloading ke CPU atau NVMe. Lihat panduan DeepSpeed Integration kami untuk detail lebih lanjut.

Pelatihan pada urutan yang sangat panjang memiliki panduan tersendiri: Pelatihan Melampaui 1 Juta Token.

Pelatihan Multi-Node

Ketika satu mesin tidak memiliki cukup GPU, torchrun dapat menskalakan pelatihan di beberapa mesin (node). Setiap node menjalankan perintah yang sama dengan jumlah total node, rank-nya sendiri, dan endpoint rendezvous di node utama.

Opsi 1: Peluncuran Manual (Non-HPC)

Jalankan berikut ini di setiap node secara manual:

# Node 0 (main node, IP 10.0.0.1)
torchrun --nnodes 2 --nproc_per_node 8 --node_rank 0 --rdzv_backend c10d --rdzv_endpoint 10.0.0.1:29500 train.py

# Node 1
torchrun --nnodes 2 --nproc_per_node 8 --node_rank 1 --rdzv_backend c10d --rdzv_endpoint 10.0.0.1:29500 train.py

Ganti 10.0.0.1 dengan alamat IP sebenarnya dari node rank 0 (utama).

Opsi 2: Peluncuran SLURM (Klaster HPC)

Untuk klaster yang menggunakan penjadwal tugas SLURM, buat skrip tugas (misalnya, slurm_job.sh):

#!/bin/bash
#SBATCH --nodes=2
#SBATCH --gpus-per-node=8
#SBATCH --job-name=trl_multi

MAIN_NODE=$(scontrol show hostnames $SLURM_JOB_NODELIST | head -n 1)
srun torchrun --nnodes 2 --nproc_per_node 8 --node_rank $SLURM_NODEID --rdzv_backend c10d --rdzv_endpoint $MAIN_NODE:29500 train.py

Lalu kirimkan pekerjaan:

sbatch slurm_job.sh

srun memulai satu torchrun per node, dan masing-masing memulai satu proses per GPU.

Direktif SLURM utama:

  • --nodes=2: Meminta 2 node komputasi
  • --gpus-per-node=8: Alokasikan 8 GPU per node (total 16)
  • --job-name: Label untuk pelacakan di antrean tugas

Anda dapat menggabungkan multi-node dengan DeepSpeed dengan mengatur deepspeed dalam konfigurasi pelatihan. Lihat panduan integrasi DeepSpeed.

Bacaan Lanjutan

Update on GitHub