TRL documentation

المكالمات العكسية

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

المكالمات العكسية

RichProgressCallback

فئة trl.RichProgressCallback

< >

( )

TrainerCallback يعرض تقدم التدريب أو التقييم باستخدام Rich.

LogCompletionsCallback

فئة trl.LogCompletionsCallback

< >

( trainer: Trainergeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonenum_prompts: int | None = Nonefreq: int | None = None )

المعاملات

  • trainer (Trainer) — المدرّب الذي سيتم ربط وحدة الاستدعاء به. يجب أن تتضمن مجموعة بيانات التقييم الخاصة بالمدرّب عمودًا باسم "prompt" يحتوي على الأوامر (prompts) لتوليد الإكمالات.
  • generation_config (GenerationConfig، اختياري) — إعدادات التوليد المستخدمة لتوليد الاكتمالات.
  • num_prompts (int, اختياري) — عدد الأوامر التي سيتم توليد إكمالات لها. إذا لم يُقدَّم، فسيُستخدم افتراضيًا عدد الأمثلة في مجموعة البيانات التقييمية.
  • freq (int، اختياري) — التردد الذي تُسجَّل به المكملات. إذا لم يُقدَّم، يكون الافتراضي هو eval_steps الخاص بمدرّب النموذج.

TrainerCallback يسجّل المكملات في Weights & Biases و/أو Comet.

طريقة الاستخدام:

>>> trainer = DPOTrainer(...)
>>> completions_callback = LogCompletionsCallback(trainer=trainer)
>>> trainer.add_callback(completions_callback)

BEMACallback

فئة trl.BEMACallback

< >

( update_freq: int = 400ema_power: float = 0.5bias_power: float = 0.2lag: int = 10update_after: int = 0multiplier: float = 1.0min_ema_multiplier: float = 0.0device: str = 'cpu' )

المعاملات

  • update_freq (int, اختياري, الافتراضي هو 400) — تحديث أوزان BEMA كل X خطوات. يُرمز لهذا الرمز في الورقة العلمية بـ {@html "ϕ \\phi ϕ"} in the paper.
  • ema_power (float, optional, defaults to 0.5) — Power for the EMA decay factor. Denoted {@html "κ \\kappa κ "} في الورقة العلمية. لتعطيل EMA، اضبط هذا على 0.0.
  • bias_power (float, اختياري, القيمة الافتراضية هي 0.2) — الأسامل عامل توسيع BEMA. يُرمز له بـ {@html "η \\eta η"} في الورقة البحثية. القيمة الكبيرة (مثل 8.0) تجعل {@html "αt \\alpha_t αt​"} تتلاشى إلى 0، مما يقارب تعطيل تصحيح الانحياز؛ بينما تثبت القيمة 0.0 {@html "αt \\alpha_t αt​"} عند 1 في كل خطوة (تصحيح أقصى غير متلاشٍ). lag (int, اختياري، القيمة الافتراضية 10) — إزاحة أولية في جدول اضمحلال الوزن تتحكم في نعومة المراحل المبكرة من خلال العمل كعمر افتراضي بدءًا للتحديثات. يُرمز له بـ {@html "ρ \\rho ρ "}η \\eta η"} in the paper. A large value (e.g. 8.0) makes {@html "αt \\alpha_t αt​"} decay to 0, approximating disabled bias-correction; 0.0 instead pins {@html "αt \\alpha_t αt​"} at 1 for every step (maximum, undecayed correction).
  • lag (int, optional, defaults to 10) — Initial offset in the weight decay schedule that controls early-stage smoothness by acting as a virtual starting age for the updates. Denoted as {@html "ρ \\rho ρ"} في الورقة البحثية.
  • update_after (int, اختياري, القيمة الافتراضية هي 0) — زمن التسخين قبل بدء تحديث أوزان BEMA. يُرمز له بـ {@html "τ \\tau τ"} في الورقة البحثية. multiplier (float, اختياري، القيمة الافتراضية 1.0) — القيمة الأولية لمعامل اضمحلال EMA. يُرمز له بـ {@html "γ \\gamma γ "}τ \\tau τ"} in the paper.
  • multiplier (float, optional, defaults to 1.0) — Initial value for the EMA decay factor. Denoted as {@html "γ \\gamma γ"} في الورقة البحثية.
  • min_ema_multiplier (float، اختياري، القيمة الافتراضية 0.0) — القيمة الدنيا لمعامل اضمحلال EMA.
  • device (str، اختياري، الافتراضي "cpu") — الجهاز المستخدم لتخزينات BEMA، مثل "cpu" أو "cuda". لاحظ أنه في معظم الحالات، يجب أن يكون هذا الجهاز مختلفًا عن الجهاز المستخدم للتدريب لتجنب نفاد الذاكرة (OOM).

TrainerCallback يطبّق BEMA (متوسط الحركة الأسي المُصحَّح من الانحياز) بواسطة Adam Block وCyril Zhang. الكود من https://github.com/abblock/bema تحت رخصة MIT.

تُحسب أوزان النموذج بواسطة BEMA بحيث تتناسب على النحو التالي: θt′=αt⋅(θt−θ0)+EMAt \theta_t' = \alpha_t \cdot (\theta_t - \theta_0) + \text{EMA}_t

حيث θt \theta_t هي أوزان النموذج الحالية، و θ0 \theta_0 لقطة لأوزان النموذج عند الخطوة الأولى update_after ، و EMAt \text{EMA}_t لأوزان النموذج، وαt \alpha_t عامل تحجيم يتناقص مع عدد الخطوات t t على النحو التالي αt=(ρ+γ⋅t)−η. \alpha_t = (\rho + \gamma \cdot t)^{-\eta}.

يُحسب المتوسط المتحرك الأسي (EMA) على النحو التالي: EMAt=(1−βt)⋅EMAt−1+βt⋅θt \text{EMA}_t = (1 - \beta_t) \cdot \text{EMA}_{t-1} + \beta_t \cdot \theta_t

حيث βt \beta_t عامل تخميد يتناقص مع عدد الخطوات t t على النحو التالي βt=(ρ+γ⋅t)−κ. \beta_t = (\rho + \gamma \cdot t)^{-\kappa}.

مثال:

>>> from trl import BEMACallback

>>> trainer = Trainer(..., callbacks=[BEMACallback()])

WeaveCallback

فئة trl.WeaveCallback

< >

( trainer: Trainerproject_name: str | None = Nonescorers: dict[str, callable] | None = Nonegeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonenum_prompts: int | None = Nonedataset_name: str = 'eval_dataset'model_name: str | None = None )

المعاملات

  • trainer (Trainer) — المدرّب الذي سيتم ربط وحدة الاستدعاء به. يجب أن تتضمن مجموعة بيانات التقييم الخاصة بالمدرّب عمودًا باسم "prompt" يحتوي على الأوامر (prompts) لتوليد الإكمالات.
  • project_name (str, اختياري) — اسم مشروع Weave الذي سيتم تسجيل البيانات فيه. إذا لم يُقدَّم، فسيحاول استخدام عميل weave الموجود أو الرجوع إلى اسم مشروع تشغيل wandb النشط. يثير خطأً إذا لم يكن أيٌّ من هذه الخيارات متاحًا.
  • scorers (dict[str, Callable]، اختياري) — قاموس يربط أسماء المُقيِّمين بوظائف التقييم. إذا كان None، يعمل في وضع التتبع (التنبؤات فقط). إذا تم تقديمه، يعمل في وضع التقييم (التنبؤات + الدرجات + الملخص). يجب أن تكون لوظائف التقييم التوقيع التالي: scorer(prompt: str, completion: str) -> float | int
  • generation_config (GenerationConfig، اختياري) — إعدادات التوليد المستخدمة لتوليد الاكتمالات.
  • num_prompts (int, اختياري) — عدد الأوامر التي سيتم توليد إكمالات لها. إذا لم يُقدَّم، فسيُستخدم افتراضيًا عدد الأمثلة في مجموعة البيانات التقييمية.
  • dataset_name (str، اختياري، الافتراضي "eval_dataset") — اسم بيانات مجموعة البيانات الوصفية في Weave.
  • model_name (str، اختياري) — اسم بيانات النموذج الوصفية في Weave. إذا لم يُقدَّم، سيُحاول الاستخراج من إعدادات النموذج.

TrainerCallback يسجّل المسارات والتقييمات في W&B Weave. يستخدم هذا الاستدعاء https://weave-docs.wandb.ai/guides/evaluation/evaluation_logger/ لتسجيل المسارات والتقييمات في كل خطوة تقييم.

يدعم وضعين بناءً على معامل scorers:

  • وضع التتبع (عندما scorers=None): يسجّل التنبؤات لاستكشاف البيانات وتحليلها
  • وضع التقييم (عند توفير المُقيِّمين): يسجّل التنبؤات مع الدرجات ومقاييس الملخص

تستخدم كلا الوضعين Weave’s EvaluationLogger لتسجيل البيانات بشكل منظم ومتسق.

يسجّل هذا المستدعي (callback) البيانات أثناء مراحل التقييم (on_evaluate) بدلاً من خطوات التدريب، مما يجعله أكثر كفاءة وصحةً دلالية. كما يتعامل بسلاسة مع غياب تثبيت weave من خلال تسجيل تحذيرات وتخطي الوظائف الخاصة بـ weave. بالإضافة إلى ذلك، يتحقق من وجود عملاء weave قائمين قبل تهيئة عملاء جدد.

طريقة الاستخدام:

# Tracing mode (just log predictions)
trainer = DPOTrainer(...)
weave_callback = WeaveTraceCallback(trainer=trainer)  # project_name optional
trainer.add_callback(weave_callback)

# Or specify a project name
weave_callback = WeaveTraceCallback(trainer=trainer, project_name="my-llm-training")
trainer.add_callback(weave_callback)


# Evaluation mode (log predictions + scores + summary)
def accuracy_scorer(prompt: str, completion: str) -> float:
    # Your scoring logic here (metadata available via eval_attributes)
    return score


weave_callback = WeaveTraceCallback(
    trainer=trainer,
    project_name="my-llm-training",  # optional and needed only if weave client is not initialized
    scorers={"accuracy": accuracy_scorer},
)
trainer.add_callback(weave_callback)

on_train_begin

< >

( argsstatecontrol**kwargs )

قم بتهيئة Weave عند بدء التدريب.

Update on GitHub