TRL documentation

توزيع التدريب

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

توزيع التدريب

التدريب متعدد وحدات معالجة الرسومات باستخدام TRL

تُطلق مُدرِّبات TRL باستخدام torchrun، وهو مُطلق التوزيع في PyTorch. يبدأ عملية واحدة لكل وحدة معالجة رسومية:

torchrun --nproc_per_node 8 train.py <SCRIPT_ARGS>

يقوم سطر الأوامر trl بنفس الشيء في الخلفية، لذا يُنفَّذ trl sft ... على كل وحدة معالجة رسومية في الجهاز؛ مرّر --nproc_per_node لاستخدام عدد أقل منها.

في الخلفية، يقوم 🤗 Accelerate بإنشاء نموذج واحد لكل وحدة معالجة رسومية. كل عملية:

  • يعالج دفعة البيانات الخاصة به
  • يُحسب الخسارة والتدرجات لذلك الدفعة
  • يشارك تحديثات التدرّجات عبر جميع وحدات معالجة الرسوميات

multi gpu

يُحسب حجم الدفعة الفعّال على النحو التالي: Batch Size=per_device_train_batch_size×num_devices×gradient_accumulation_steps \text{Batch Size} = \text{per\_device\_train\_batch\_size} \times \text{num\_devices} \times \text{gradient\_accumulation\_steps}

للحفاظ على حجم دفعة ثابت عند التوسع إلى وحدات معالجة رسومات متعددة، تأكد من تحديث per_device_train_batch_size وgradient_accumulation_steps وفقًا لذلك.

على سبيل المثال، هذه الإعدادات مكافئة، وينبغي أن تعطي نفس النتائج:

عدد وحدات معالجة الرسومياتحجم الدفعة لكل جهازخطوات تراكم التدرجالتعليقات
1321استهلاك ذاكرة مرتفع محتمل، لكن تدريب أسرع
148استهلاك أقل للذاكرة، تدريب أبطأ
841تعدد وحدات معالجة الرسوميات للحصول على أفضل ما في العالمين

قد يؤدي تخصيص نموذج واحد لكل وحدة معالجة رسومية إلى استهلاك عالٍ للذاكرة، وهو ما قد لا يكون قابلاً للتطبيق بالنسبة للنماذج الكبيرة أو وحدات معالجة الرسومية ذات الذاكرة المنخفضة. في مثل هذه الحالات، يمكنك الاستفادة من DeepSpeed، الذي يوفر تحسينات مثل تقسيم النموذج، ومُحسِّن الصفر غير المتكرر، والتدريب بدقة مختلطة، وإفراغ البيانات إلى وحدة المعالجة المركزية أو NVMe. راجع دليل DeepSpeed Integration لدينا لمزيد من التفاصيل.

يوجد دليل خاص بالتدريب على التسلسلات الطويلة جداً: التدريب لما يتجاوز مليون رمز.

التدريب متعدد العقد

عندما لا تتوفر كمية كافية من وحدات معالجة الرسوميات (GPU) على جهاز واحد، يمكن لـ torchrun توسيع نطاق التدريب عبر أجهزة متعددة (عُقد). تعمل كل عقدة على تنفيذ نفس الأمر مع إجمالي عدد العقد، وترتيبها الخاص (rank)، ونقطة الالتقاء (rendezvous endpoint) على العقدة الرئيسية.

الخيار 1: الإيداع اليدوي (غير HPC)

قم بتشغيل ما يلي يدويًا على كل عقدة:

# Node 0 (main node, IP 10.0.0.1)
torchrun --nnodes 2 --nproc_per_node 8 --node_rank 0 --rdzv_backend c10d --rdzv_endpoint 10.0.0.1:29500 train.py

# Node 1
torchrun --nnodes 2 --nproc_per_node 8 --node_rank 1 --rdzv_backend c10d --rdzv_endpoint 10.0.0.1:29500 train.py

استبدل 10.0.0.1 بعنوان IP الفعلي للعقدة الرئيسية (الرتبة 0).

الخيار 2: بدء تشغيل SLURM (عناقيد HPC)

بالنسبة إلى العناقيد التي تستخدم مجدول المهام SLURM، أنشئ سكربت مهمة (على سبيل المثال، slurm_job.sh):

#!/bin/bash
#SBATCH --nodes=2
#SBATCH --gpus-per-node=8
#SBATCH --job-name=trl_multi

MAIN_NODE=$(scontrol show hostnames $SLURM_JOB_NODELIST | head -n 1)
srun torchrun --nnodes 2 --nproc_per_node 8 --node_rank $SLURM_NODEID --rdzv_backend c10d --rdzv_endpoint $MAIN_NODE:29500 train.py

ثم أرسل المهمة:

sbatch slurm_job.sh

srun يبدأ عملية torchrun واحدة لكل عقدة، وكل واحدة منها تبدأ عملية واحدة لكل وحدة معالجة رسومية.

توجيهات SLURM الرئيسية:

  • --nodes=2: طلب عقدتي حوسبة
  • --gpus-per-node=8: تخصيص 8 وحدات معالجة رسومية لكل عقدة (16 وحدة إجمالاً)
  • --job-name: تسمية لتتبع المهمة في قائمة الانتظار

يمكنك دمج تعدد العقد مع DeepSpeed من خلال تعيين deepspeed في إعدادات التدريب. راجع دليل تكامل DeepSpeed.

قراءات إضافية

Update on GitHub