TRL documentation
المكالمات العكسية
المكالمات العكسية
RichProgressCallback
TrainerCallback يعرض تقدم التدريب أو التقييم باستخدام Rich.
LogCompletionsCallback
فئة trl.LogCompletionsCallback
< source >( trainer: Trainergeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonenum_prompts: int | None = Nonefreq: int | None = None )
المعاملات
- trainer (
Trainer) — المدرّب الذي سيتم ربط وحدة الاستدعاء به. يجب أن تتضمن مجموعة بيانات التقييم الخاصة بالمدرّب عمودًا باسم"prompt"يحتوي على الأوامر (prompts) لتوليد الإكمالات. - generation_config (GenerationConfig، اختياري) — إعدادات التوليد المستخدمة لتوليد الاكتمالات.
- num_prompts (
int, اختياري) — عدد الأوامر التي سيتم توليد إكمالات لها. إذا لم يُقدَّم، فسيُستخدم افتراضيًا عدد الأمثلة في مجموعة البيانات التقييمية. - freq (
int، اختياري) — التردد الذي تُسجَّل به المكملات. إذا لم يُقدَّم، يكون الافتراضي هوeval_stepsالخاص بمدرّب النموذج.
TrainerCallback يسجّل المكملات في Weights & Biases و/أو Comet.
BEMACallback
فئة trl.BEMACallback
< source >( update_freq: int = 400ema_power: float = 0.5bias_power: float = 0.2lag: int = 10update_after: int = 0multiplier: float = 1.0min_ema_multiplier: float = 0.0device: str = 'cpu' )
المعاملات
- update_freq (
int, اختياري, الافتراضي هو400) — تحديث أوزان BEMA كل X خطوات. يُرمز لهذا الرمز في الورقة العلمية بـ {@html "ϕ"} in the paper. - ema_power (
float, optional, defaults to0.5) — Power for the EMA decay factor. Denoted {@html "κ "} في الورقة العلمية. لتعطيل EMA، اضبط هذا على0.0. - bias_power (
float, اختياري, القيمة الافتراضية هي0.2) — الأسامل عامل توسيع BEMA. يُرمز له بـ {@html "η \\eta η"} في الورقة البحثية. القيمة الكبيرة (مثل 8.0) تجعل {@html "αt \\alpha_t αt"} تتلاشى إلى 0، مما يقارب تعطيل تصحيح الانحياز؛ بينما تثبت القيمة 0.0 {@html "αt \\alpha_t αt"} عند 1 في كل خطوة (تصحيح أقصى غير متلاشٍ). lag (int, اختياري، القيمة الافتراضية 10) — إزاحة أولية في جدول اضمحلال الوزن تتحكم في نعومة المراحل المبكرة من خلال العمل كعمر افتراضي بدءًا للتحديثات. يُرمز له بـ {@html "ρ \\rho ρ "}η"} in the paper. A large value (e.g.8.0) makes {@html "αt"} decay to0, approximating disabled bias-correction;0.0instead pins {@html "αt"} at1for every step (maximum, undecayed correction). - lag (
int, optional, defaults to10) — Initial offset in the weight decay schedule that controls early-stage smoothness by acting as a virtual starting age for the updates. Denoted as {@html "ρ"} في الورقة البحثية. - update_after (
int, اختياري, القيمة الافتراضية هي0) — زمن التسخين قبل بدء تحديث أوزان BEMA. يُرمز له بـ {@html "τ \\tau τ"} في الورقة البحثية. multiplier (float, اختياري، القيمة الافتراضية 1.0) — القيمة الأولية لمعامل اضمحلال EMA. يُرمز له بـ {@html "γ \\gamma γ "}τ"} in the paper. - multiplier (
float, optional, defaults to1.0) — Initial value for the EMA decay factor. Denoted as {@html "γ"} في الورقة البحثية. - min_ema_multiplier (
float، اختياري، القيمة الافتراضية0.0) — القيمة الدنيا لمعامل اضمحلال EMA. - device (
str، اختياري، الافتراضي"cpu") — الجهاز المستخدم لتخزينات BEMA، مثل"cpu"أو"cuda". لاحظ أنه في معظم الحالات، يجب أن يكون هذا الجهاز مختلفًا عن الجهاز المستخدم للتدريب لتجنب نفاد الذاكرة (OOM).
TrainerCallback يطبّق BEMA (متوسط الحركة الأسي المُصحَّح من الانحياز) بواسطة Adam Block وCyril Zhang. الكود من https://github.com/abblock/bema تحت رخصة MIT.
تُحسب أوزان النموذج بواسطة BEMA بحيث تتناسب على النحو التالي:
حيث هي أوزان النموذج الحالية، و لقطة لأوزان النموذج عند الخطوة الأولى update_after ، و لأوزان النموذج، و عامل تحجيم يتناقص مع عدد الخطوات على النحو التالي
يُحسب المتوسط المتحرك الأسي (EMA) على النحو التالي:
حيث عامل تخميد يتناقص مع عدد الخطوات على النحو التالي
WeaveCallback
فئة trl.WeaveCallback
< source >( trainer: Trainerproject_name: str | None = Nonescorers: dict[str, callable] | None = Nonegeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonenum_prompts: int | None = Nonedataset_name: str = 'eval_dataset'model_name: str | None = None )
المعاملات
- trainer (
Trainer) — المدرّب الذي سيتم ربط وحدة الاستدعاء به. يجب أن تتضمن مجموعة بيانات التقييم الخاصة بالمدرّب عمودًا باسم"prompt"يحتوي على الأوامر (prompts) لتوليد الإكمالات. - project_name (
str, اختياري) — اسم مشروع Weave الذي سيتم تسجيل البيانات فيه. إذا لم يُقدَّم، فسيحاول استخدام عميل weave الموجود أو الرجوع إلى اسم مشروع تشغيل wandb النشط. يثير خطأً إذا لم يكن أيٌّ من هذه الخيارات متاحًا. - scorers (
dict[str, Callable]، اختياري) — قاموس يربط أسماء المُقيِّمين بوظائف التقييم. إذا كانNone، يعمل في وضع التتبع (التنبؤات فقط). إذا تم تقديمه، يعمل في وضع التقييم (التنبؤات + الدرجات + الملخص). يجب أن تكون لوظائف التقييم التوقيع التالي:scorer(prompt: str, completion: str) -> float | int - generation_config (GenerationConfig، اختياري) — إعدادات التوليد المستخدمة لتوليد الاكتمالات.
- num_prompts (
int, اختياري) — عدد الأوامر التي سيتم توليد إكمالات لها. إذا لم يُقدَّم، فسيُستخدم افتراضيًا عدد الأمثلة في مجموعة البيانات التقييمية. - dataset_name (
str، اختياري، الافتراضي"eval_dataset") — اسم بيانات مجموعة البيانات الوصفية في Weave. - model_name (
str، اختياري) — اسم بيانات النموذج الوصفية في Weave. إذا لم يُقدَّم، سيُحاول الاستخراج من إعدادات النموذج.
TrainerCallback يسجّل المسارات والتقييمات في W&B Weave. يستخدم هذا الاستدعاء https://weave-docs.wandb.ai/guides/evaluation/evaluation_logger/ لتسجيل المسارات والتقييمات في كل خطوة تقييم.
يدعم وضعين بناءً على معامل scorers:
- وضع التتبع (عندما scorers=None): يسجّل التنبؤات لاستكشاف البيانات وتحليلها
- وضع التقييم (عند توفير المُقيِّمين): يسجّل التنبؤات مع الدرجات ومقاييس الملخص
تستخدم كلا الوضعين Weave’s EvaluationLogger لتسجيل البيانات بشكل منظم ومتسق.
يسجّل هذا المستدعي (callback) البيانات أثناء مراحل التقييم (on_evaluate) بدلاً من خطوات التدريب، مما يجعله أكثر كفاءة وصحةً دلالية. كما يتعامل بسلاسة مع غياب تثبيت weave من خلال تسجيل تحذيرات وتخطي الوظائف الخاصة بـ weave. بالإضافة إلى ذلك، يتحقق من وجود عملاء weave قائمين قبل تهيئة عملاء جدد.
طريقة الاستخدام:
# Tracing mode (just log predictions)
trainer = DPOTrainer(...)
weave_callback = WeaveTraceCallback(trainer=trainer) # project_name optional
trainer.add_callback(weave_callback)
# Or specify a project name
weave_callback = WeaveTraceCallback(trainer=trainer, project_name="my-llm-training")
trainer.add_callback(weave_callback)
# Evaluation mode (log predictions + scores + summary)
def accuracy_scorer(prompt: str, completion: str) -> float:
# Your scoring logic here (metadata available via eval_attributes)
return score
weave_callback = WeaveTraceCallback(
trainer=trainer,
project_name="my-llm-training", # optional and needed only if weave client is not initialized
scorers={"accuracy": accuracy_scorer},
)
trainer.add_callback(weave_callback)قم بتهيئة Weave عند بدء التدريب.