TRL documentation
Mendistribusikan Pelatihan
Mendistribusikan Pelatihan
Pelatihan Multi-GPU dengan TRL
Trainer di TRL diluncurkan dengan torchrun, peluncur terdistribusi dari PyTorch. Ini memulai satu proses per GPU:
torchrun --nproc_per_node 8 train.py <SCRIPT_ARGS>
CLI trl melakukan hal yang sama di balik layar, sehingga trl sft ... berjalan di setiap GPU pada mesin tersebut; gunakan --nproc_per_node untuk mengurangi jumlahnya.
Di balik layar, 🤗 Accelerate membuat satu model per GPU. Setiap proses:
- Memproses batch data miliknya sendiri
- Menghitung loss dan gradien untuk batch tersebut
- Berbagi pembaruan gradien di semua GPU

Ukuran batch efektif dihitung sebagai:
Untuk mempertahankan ukuran batch yang konsisten saat melakukan scaling ke beberapa GPU, pastikan untuk memperbarui per_device_train_batch_size dan gradient_accumulation_steps secara sesuai.
Contoh, konfigurasi berikut setara dan harus menghasilkan hasil yang sama:
| Jumlah GPU | Ukuran batch per perangkat | Langkah akumulasi gradien | Komentar |
|---|---|---|---|
| 1 | 32 | 1 | Kemungkinan penggunaan memori tinggi, tetapi pelatihan lebih cepat |
| 1 | 4 | 8 | Penggunaan memori lebih rendah, pelatihan lebih lambat |
| 8 | 4 | 1 | Multi-GPU untuk mendapatkan yang terbaik dari kedua dunia |
Memiliki satu model per GPU dapat menyebabkan penggunaan memori yang tinggi, yang mungkin tidak layak untuk model besar atau GPU dengan memori rendah. Dalam kasus seperti itu, Anda dapat memanfaatkan DeepSpeed, yang menyediakan optimasi seperti model sharding, Zero Redundancy Optimizer, pelatihan presisi campuran, dan offloading ke CPU atau NVMe. Lihat panduan DeepSpeed Integration kami untuk detail lebih lanjut.
Pelatihan pada urutan yang sangat panjang memiliki panduan tersendiri: Pelatihan Melampaui 1 Juta Token.
Pelatihan Multi-Node
Ketika satu mesin tidak memiliki cukup GPU, torchrun dapat menskalakan pelatihan di beberapa mesin (node). Setiap node menjalankan perintah yang sama dengan jumlah total node, rank-nya sendiri, dan endpoint rendezvous di node utama.
Opsi 1: Peluncuran Manual (Non-HPC)
Jalankan berikut ini di setiap node secara manual:
# Node 0 (main node, IP 10.0.0.1)
torchrun --nnodes 2 --nproc_per_node 8 --node_rank 0 --rdzv_backend c10d --rdzv_endpoint 10.0.0.1:29500 train.py
# Node 1
torchrun --nnodes 2 --nproc_per_node 8 --node_rank 1 --rdzv_backend c10d --rdzv_endpoint 10.0.0.1:29500 train.pyGanti
10.0.0.1dengan alamat IP sebenarnya dari node rank 0 (utama).
Opsi 2: Peluncuran SLURM (Klaster HPC)
Untuk klaster yang menggunakan penjadwal tugas SLURM, buat skrip tugas (misalnya, slurm_job.sh):
#!/bin/bash
#SBATCH --nodes=2
#SBATCH --gpus-per-node=8
#SBATCH --job-name=trl_multi
MAIN_NODE=$(scontrol show hostnames $SLURM_JOB_NODELIST | head -n 1)
srun torchrun --nnodes 2 --nproc_per_node 8 --node_rank $SLURM_NODEID --rdzv_backend c10d --rdzv_endpoint $MAIN_NODE:29500 train.pyLalu kirimkan pekerjaan:
sbatch slurm_job.sh
srun memulai satu torchrun per node, dan masing-masing memulai satu proses per GPU.
Direktif SLURM utama:
--nodes=2: Meminta 2 node komputasi--gpus-per-node=8: Alokasikan 8 GPU per node (total 16)--job-name: Label untuk pelacakan di antrean tugas
Anda dapat menggabungkan multi-node dengan DeepSpeed dengan mengatur deepspeed dalam konfigurasi pelatihan. Lihat panduan integrasi DeepSpeed.
Bacaan Lanjutan
- torchrun (Peluncuran Elastis)
- Dokumentasi SLURM Workload Manager - Untuk penjadwalan pekerjaan klaster