TRL documentation
توزيع التدريب
توزيع التدريب
التدريب متعدد وحدات معالجة الرسومات باستخدام TRL
تُطلق مُدرِّبات TRL باستخدام torchrun، وهو مُطلق التوزيع في PyTorch. يبدأ عملية واحدة لكل وحدة معالجة رسومية:
torchrun --nproc_per_node 8 train.py <SCRIPT_ARGS>
يقوم سطر الأوامر trl بنفس الشيء في الخلفية، لذا يُنفَّذ trl sft ... على كل وحدة معالجة رسومية في الجهاز؛ مرّر --nproc_per_node لاستخدام عدد أقل منها.
في الخلفية، يقوم 🤗 Accelerate بإنشاء نموذج واحد لكل وحدة معالجة رسومية. كل عملية:
- يعالج دفعة البيانات الخاصة به
- يُحسب الخسارة والتدرجات لذلك الدفعة
- يشارك تحديثات التدرّجات عبر جميع وحدات معالجة الرسوميات

يُحسب حجم الدفعة الفعّال على النحو التالي:
للحفاظ على حجم دفعة ثابت عند التوسع إلى وحدات معالجة رسومات متعددة، تأكد من تحديث per_device_train_batch_size وgradient_accumulation_steps وفقًا لذلك.
على سبيل المثال، هذه الإعدادات مكافئة، وينبغي أن تعطي نفس النتائج:
| عدد وحدات معالجة الرسوميات | حجم الدفعة لكل جهاز | خطوات تراكم التدرج | التعليقات |
|---|---|---|---|
| 1 | 32 | 1 | استهلاك ذاكرة مرتفع محتمل، لكن تدريب أسرع |
| 1 | 4 | 8 | استهلاك أقل للذاكرة، تدريب أبطأ |
| 8 | 4 | 1 | تعدد وحدات معالجة الرسوميات للحصول على أفضل ما في العالمين |
قد يؤدي تخصيص نموذج واحد لكل وحدة معالجة رسومية إلى استهلاك عالٍ للذاكرة، وهو ما قد لا يكون قابلاً للتطبيق بالنسبة للنماذج الكبيرة أو وحدات معالجة الرسومية ذات الذاكرة المنخفضة. في مثل هذه الحالات، يمكنك الاستفادة من DeepSpeed، الذي يوفر تحسينات مثل تقسيم النموذج، ومُحسِّن الصفر غير المتكرر، والتدريب بدقة مختلطة، وإفراغ البيانات إلى وحدة المعالجة المركزية أو NVMe. راجع دليل DeepSpeed Integration لدينا لمزيد من التفاصيل.
يوجد دليل خاص بالتدريب على التسلسلات الطويلة جداً: التدريب لما يتجاوز مليون رمز.
التدريب متعدد العقد
عندما لا تتوفر كمية كافية من وحدات معالجة الرسوميات (GPU) على جهاز واحد، يمكن لـ torchrun توسيع نطاق التدريب عبر أجهزة متعددة (عُقد). تعمل كل عقدة على تنفيذ نفس الأمر مع إجمالي عدد العقد، وترتيبها الخاص (rank)، ونقطة الالتقاء (rendezvous endpoint) على العقدة الرئيسية.
الخيار 1: الإيداع اليدوي (غير HPC)
قم بتشغيل ما يلي يدويًا على كل عقدة:
# Node 0 (main node, IP 10.0.0.1)
torchrun --nnodes 2 --nproc_per_node 8 --node_rank 0 --rdzv_backend c10d --rdzv_endpoint 10.0.0.1:29500 train.py
# Node 1
torchrun --nnodes 2 --nproc_per_node 8 --node_rank 1 --rdzv_backend c10d --rdzv_endpoint 10.0.0.1:29500 train.pyاستبدل
10.0.0.1بعنوان IP الفعلي للعقدة الرئيسية (الرتبة 0).
الخيار 2: بدء تشغيل SLURM (عناقيد HPC)
بالنسبة إلى العناقيد التي تستخدم مجدول المهام SLURM، أنشئ سكربت مهمة (على سبيل المثال، slurm_job.sh):
#!/bin/bash
#SBATCH --nodes=2
#SBATCH --gpus-per-node=8
#SBATCH --job-name=trl_multi
MAIN_NODE=$(scontrol show hostnames $SLURM_JOB_NODELIST | head -n 1)
srun torchrun --nnodes 2 --nproc_per_node 8 --node_rank $SLURM_NODEID --rdzv_backend c10d --rdzv_endpoint $MAIN_NODE:29500 train.pyثم أرسل المهمة:
sbatch slurm_job.sh
srun يبدأ عملية torchrun واحدة لكل عقدة، وكل واحدة منها تبدأ عملية واحدة لكل وحدة معالجة رسومية.
توجيهات SLURM الرئيسية:
--nodes=2: طلب عقدتي حوسبة--gpus-per-node=8: تخصيص 8 وحدات معالجة رسومية لكل عقدة (16 وحدة إجمالاً)--job-name: تسمية لتتبع المهمة في قائمة الانتظار
يمكنك دمج تعدد العقد مع DeepSpeed من خلال تعيين deepspeed في إعدادات التدريب. راجع دليل تكامل DeepSpeed.
قراءات إضافية
- torchrun (إطلاق مرن)
- توثيق مدير الأحمال SLURM - لجدولة مهام العناقيد