TRL documentation

SDFT

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SDFT

يُوصف ضبط الدقة الذاتي المُقطّر (SDFT) في ورقة Self-Distillation Enables Continual Learning التي كتبها Idan Shenfeld وMehul Damani وJonas Hübotter وPulkit Agrawal.

يُعدّ التعلّم المستمر، الذي يمكّن النماذج من اكتساب مهارات ومعارف جديدة دون تدهور القدرات القائمة، تحديًا جوهريًا للنماذج الأساسية. وعلى الرغم من أن تعلّم التعزيز على السياسة (on-policy) يمكن أن يقلّل من النسيان، إلا أنه يتطلب دوال مكافأة صريحة غالبًا ما تكون غير متاحة. ويهيمن تعلّم الإشراف الدقيق (SFT) على البديل الرئيسي المتمثل في التعلّم من عروض الخبراء، وهو تعلّم خارج السياسة بطبيعته. نُقدّم هنا تعلّم الإشراف الدقيق بالتقطير الذاتي (SDFT)، وهو أسلوب بسيط يمكّن من التعلّم على السياسة مباشرةً من العروض. يستفيد SDFT من التعلّم في السياق (in-context learning) من خلال استخدام نموذج مشروط على العرض كمعلّم لنفسه، مما يولّد إشارات تدريب على السياسة تحافظ على القدرات السابقة أثناء اكتساب مهارات جديدة. وعلى مدى مهام اكتساب المهارات واكتساب المعرفة، يتفوق SDFT باستمرار على SFT، محققًا دقة أعلى للمهام الجديدة مع تقليل النسيان الكارثي بشكل كبير. وفي تجارب التعلّم التسلسلي، يمكّن SDFT نموذجًا واحدًا من تراكم مهارات متعددة مع مرور الوقت دون تراجع في الأداء، مما يرسّخ التقطير على السياسة كطريق عملي نحو التعلّم المستمر من العروض.

كيف يعمل

يُدرّب الضبط الدقيق الإشرافي العادي على نص العرض خارج السياسة، مما يميل إلى تجاوز القدرات السابقة. يتعلم SDFT على السياسة بدلاً من ذلك: يولّد الطالب من prompt العادي، ويعيد المعلم — وهو النموذج نفسه الذي يُعرض عليه prompt بالإضافة إلى privileged_context الخاص بالمثال — تقييم تلك الرموز، ثم يُدمج توزيعه المشروط على العرض مرة أخرى في الطالب. المعلم والطالب شبكة واحدة تختلف فقط في ما تراه، مما يُنشئ حلقة تقطير ذاتي.

اختيار المعلم

teacher_model_kind يحدد النسخة من النموذج التي تعمل كمعلم. "base" (الافتراضي) يجمّد الأوزان الأولية كمرجع ثابت، بما يتوافق مع الورقة البحثية؛ "live" يعيد استخدام الطالب الحالي كمعلم ذاتي بدون تأخير؛ "ema" يحافظ على متوسط متحرك أسي، يُعاد مزامنته كل teacher_sync_steps خطوات بمعدل teacher_update_rate. في إطار PEFT، يُحصل على "base" عن طريق تعطيل المُكيّف (adapter) أثناء التقدّم الأمامي للمعلم لاستعادة أوزان النموذج الأساسي، بينما "ema" مع تدريب LoRA خالص يحتفظ بالمتوسط المتحرك في مُكيّف مخصص باسم "teacher" بدلاً من نسخة ثانية من النموذج. "ema" مع نموذج PEFT غير LoRA خالص (مثل modules_to_save أو bias) غير مدعوم، لأن نسخة EMA منفصلة لا يمكن مطابقتها مع الطالب على مستوى المعاملات.

بشكل افتراضي، يولّد الطالب من الموجه العادي؛ اضبط generate_from_teacher=True لتوليد العينات من الموجه المشروط بالعرض بدلاً من ذلك، مما يوازن بين الأمانة على السياسة مقابل جودة أعلى للنتائج. يُحدَّد هدف التقطير بواسطة distillation_mode (افتراضياً "topk_logits"، مع بدائل "full_logits" و"sampled_token")، وdistillation_alpha، وdistillation_topk؛ بينما يستبعد num_loss_tokens_to_skip رموز الإكمال الأولية من الخسارة. التدريب نصي فقط؛ التوليد يتم عبر transformers افتراضياً، أو عبر vLLM (وضع التشارك أو وضع الخادم) عند ضبط use_vllm=True.

الاستخدام

from datasets import Dataset

from trl.experimental.sdft import SDFTConfig, SDFTTrainer

dataset = Dataset.from_dict(
    {
        "prompt": [[{"role": "user", "content": "Solve 2+2."}]],
        "privileged_context": ["Example answer: 4."],
    }
)

training_args = SDFTConfig(
    output_dir="sdft-model",
    distillation_alpha=0.5,
    distillation_mode="topk_logits",
    distillation_topk=5,
    max_completion_length=64,
)

trainer = SDFTTrainer(
    model="Qwen/Qwen2.5-1.5B-Instruct",
    args=training_args,
    train_dataset=dataset,
)
trainer.train()

لتوليد النص من موجه المعلم المشروط بدلاً من موجه الطالب، اضبط generate_from_teacher=True. لتخصيص طريقة بناء موجه المعلم، اضبط teacher_prompt_template على experimental.sdft.SDFTConfig.

تقديم المعلم من خادم vLLM

عند استخدام teacher_model_kind="live" يكون المعلم هو الطالب الحالي، الذي تحتفظ أوزانه بالفعل بخادم server الخاص بـ vLLM (حيث تتم مزامنتها للتوليد في كل خطوة). اضبط use_teacher_server=True لتقييم احتمالات السجلات (log-probabilities) للمعلم على نفس الخادم بدلاً من تشغيل تمريرة أمامية محلية منفصلة للمعلم، مما يُزيل المعلم تماماً من خطوة التدريب:

training_args = SDFTConfig(
    output_dir="sdft-model",
    use_vllm=True,
    vllm_mode="server",
    teacher_model_kind="live",
    use_teacher_server=True,
    distillation_mode="sampled_token",
)

عند استخدام خادم المعلم:

  • use_vllm=True وvllm_mode="server" مطلوبان
  • يجب أن يكون teacher_model_kind هو "live" (حيث يحتفظ الخادم بأوزان الطالب الحالية)
  • يجب أن يكون distillation_mode إما "sampled_token" (KL العكسي على الرمز المُنجَز) أو "topk_logits". تُرجع الخادم احتمالات السجل الخاصة به لأفضل k رمزًا، لذا فإن topk_logits يُجري التقطير على نطاق أفضل k رمزًا لدى المعلم (لا يمكنه استخدام نطاق الطالب، على عكس الهدف المحلي)؛ ومع معلم من نوع "live" يتطابق النطاقان تقريبًا. full_logits غير متوفر.

أعمدة مجموعة البيانات المتوقعة

يجب أن يوفر كل مثال:

  • prompt: الأمر الموجَّه إلى الطالب
  • privileged_context: المعلومات الإضافية الخاصة بالمعلم فقط، مثل عرض توضيحي أو تلميح أو تغذية راجعة خاصة

يدعم مُعالِج المُوجِّهات في المُدرِّب كلا من المُوجِّهات النصية القياسية والمُوجِّهات الحوارية.

المكالمات العكسية

يُصدر المُدرِّب مجموعة صغيرة من خطافات الاستدعاء (callback hooks) المفيدة للتصحيح، والمراقبة، والاختبارات. وقد صُمِّمت هذه الخطافات كنقاط تكامل عملية لتدفقات العمل التجريبية للتقطير الذاتي.

خطافات التقطير الذاتي المشتركة:

  • on_self_distillation_batch_prepared: يُطلق عند اكتمال دفعة التلقائي التلقائي. تتضمن الحمولة prompt_ids وcompletion_ids وold_per_token_logps عندما تكون مدخلات قصّ أخذ العينات حسب الأهمية متاحة.
  • on_generation_batch_built: يُطلق عند إنشاء دفعة توليد مخزّنة جديدة. يتضمن الحمولة generate_every وsteps_per_generation.

خطاف خاص بـ SDFT:

  • on_generation_prompts_selected: يُطلق عند اختيار SDFT لمصدر الموجّهات للتوليد وفق السياسة. تتضمن الحمولة generation_prompts المختارة وgeneration_prompt_text المقابلة لها.

مثال على السكربت

استخدم examples/sdft_privileged_context/sdft_privileged_context.py لإطلاق تدريب SDFT من سطر الأوامر. يدعم هذا السكربت أي نموذج LM سببي من Hub، بالإضافة إلى مجموعات البيانات المحلية المخصصة عبر --dataset_path، وتقنيات PEFT/LoRA عبر أعلام ModelConfig القياسية.

python examples/sdft_privileged_context/sdft_privileged_context.py \
    --model_name_or_path Qwen/Qwen3.5-0.8B \
    --dataset_name your-org/your-dataset \
    --output_dir outputs/sdft-qwen3.5-0.8b \
    --per_device_train_batch_size 1 \
    --gradient_accumulation_steps 16 \
    --learning_rate 2e-5 \
    --max_prompt_length 1024 \
    --max_completion_length 512 \
    --generate_from_teacher \
    --teacher_model_kind ema \
    --teacher_sync_steps 1 \
    --teacher_update_rate 0.05 \
    --eval_strategy steps \
    --eval_steps 50 \
    --report_to wandb

يتوفر التنفيذ الأصلي في idanshen/Self-Distillation.

SDFTConfig

فئة trl.experimental.sdft.SDFTConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | None = Nonetrust_remote_code: bool = Falsedisable_dropout: bool = Truemax_prompt_length: int | None = 512num_generations: int = 8num_generations_eval: int | None = Nonemax_completion_length: int | None = 256ds3_gather_for_generation: bool = Trueshuffle_dataset: bool = Truegeneration_batch_size: int | None = Nonesteps_per_generation: int | None = Nonetemperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonegeneration_kwargs: dict[str, typing.Any] | None = Nonechat_template_kwargs: dict[str, typing.Any] | None = Nonerepetition_penalty: float = 1.0cache_implementation: str | None = Noneuse_vllm: bool = Falseuse_teacher_server: bool = Falsevllm_mode: str = 'colocate'vllm_model_impl: str = 'vllm'vllm_enable_sleep_mode: bool = Falsevllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_group_port: int = 51216vllm_server_timeout: float = 240.0vllm_tensor_parallel_size: int = 1vllm_gpu_memory_utilization: float = 0.3vllm_max_model_length: int | None = Nonenum_iterations: int = 1teacher_model_kind: str = 'base'teacher_update_rate: float = 0.05teacher_sync_steps: int = 1distillation_alpha: float = 0.5distillation_mode: typing.Literal['sampled_token', 'full_logits', 'topk_logits'] = 'topk_logits'distillation_topk: int | None = 100distillation_is_clip: float | None = 2.0distillation_add_tail: bool = Falsegenerate_from_teacher: bool = Falseteacher_prompt_template: str = '{prompt}\n\n{privileged_context}'num_loss_tokens_to_skip: int = 0 )

المعاملات التي تتحكم في خسارة SDFT

  • distillation_alpha (float، اختياري، القيمة الافتراضية 0.5) — معامل الاستيفاء للانحراف في تقطير لوجيت top-k لـ SDFT.
  • distillation_mode (Literal["sampled_token", "full_logits", "topk_logits"]، اختياري، القيمة الافتراضية "topk_logits") — وضع هدف التقطير. يعتمد SDFT افتراضيًا على تقطير logit من أعلى k قيمة.
  • distillation_topk (int، اختياري، القيمة الافتراضية 100) — عدد الرموز العلوية المستخدمة في هدف logit الخاص بـ top-k الافتراضي في SDFT.
  • distillation_is_clip (float، اختياري، القيمة الافتراضية 2.0) — معامل القصّ لعينة الأهمية في التلقائي. تعطيل None القصّ.
  • distillation_add_tail (bool، اختياري، القيمة الافتراضية False) — ما إذا كان يجب إضافة دلو ذيل لكتلة الاحتمال غير الأعلى-ك.
  • num_loss_tokens_to_skip (int، اختياري، القيمة الافتراضية 0) — عدد رموز الإكمال الأولية التي يجب استبعادها من خسارة التقطير.

المعاملات التي تتحكم في المعلم

  • teacher_model_kind (str، اختياري، القيمة الافتراضية "base") — اختيار المعلم الدلالي لـ SDFT. يستخدم base الطالب الأولي، ويستخدم live الطالب الحالي، بينما يستخدم ema معلمًا متوسطًا أُسّيًا.
  • teacher_update_rate (float، اختياري، القيمة الافتراضية 0.05) — معدل تحديث EMA المستخدم عندما يكون teacher_model_kind="ema". القيمة 1.0 تقلل التحديث إلى تجاوز قاسٍ، مما يعيد مزامنة المعلم مع أوزان الطالب الحالية بشكل دوري.
  • teacher_sync_steps (int، اختياري، القيمة الافتراضية 1) — عدد خطوات المُحسِّن بين تحديثات المعلم.

المعاملات التي تتحكم في التوليد المشروط على المعلم

  • generate_from_teacher (bool، اختياري، القيمة الافتراضية False) — ما إذا كان يجب على التوليد وفق السياسة استخدام الموجه المشروط بالمعلم بدلاً من موجه الطالب.
  • teacher_prompt_template (str، اختياري، القيمة الافتراضية "{prompt}\n\n{privileged_context}") — القالب المستخدم لدمج موجه الطالب والسياق الخاص في موجه المعلم.

المعاملات التي تتحكم في النموذج

  • model_init_kwargs (dict[str, Any], اختياري) — حجج الكلمات المفتاحية لـ transformers.AutoModelForCausalLM.from_pretrained، تُستخدم عندما يُقدَّم الحجة model لـ SDFTTrainer كنص. كما يُستخدم قيمة revision عند تحميل فئة المعالجة.
  • trust_remote_code (bool, optional, defaults to False) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained, for both the student and teacher.
  • disable_dropout (bool، اختياري، القيمة الافتراضية True) — ما إذا كان سيتم تعطيل إسقاط العينة (dropout) في نموذج الطالب ونموذج المعلم.

المعاملات التي تتحكم في المعالجة المسبقة للبيانات

  • remove_unused_columns (bool، اختياري، القيمة الافتراضية False) — ما إذا كان يجب الإبقاء على الأعمدة المطلوبة فقط من قبل المدرب في مجموعة البيانات. أبقِ هذه القيمة على False إذا كنت توفر أعمدة إضافية (مثل privileged_context) يحتاجها المدرب.
  • max_prompt_length (int، اختياري، القيمة الافتراضية 512) — الحد الأقصى لطول الاستدعاء. يتم اقتطاع الاستدعاءات الأطول من الجهة اليسرى.
  • shuffle_dataset (bool، اختياري، القيمة الافتراضية True) — ما إذا كان سيتم خلط مجموعة بيانات التدريب.

المعاملات التي تتحكم في التوليد

  • num_generations (int، اختياري، القيمة الافتراضية 8) — عدد الأجيال التي سيتم أخذ عينات منها. يجب أن يكون حجم الدفعة الفعّال (num_processes per_device_batch_size gradient_accumulation_steps) قابلاً للقسمة على هذا القيمة دون باقي.
  • num_generations_eval (int, اختياري) — عدد الأجيال التي سيتم أخذ عينات منها أثناء التقييم. يتيح ذلك استخدام عدد أقل من الأجيال أثناء التقييم لتوفير الحسابات. إذا كان None، يتم استخدام قيمة num_generations.
  • max_completion_length (int، اختياري، القيمة الافتراضية 256) — الحد الأقصى لطول الإكمال المولّد.
  • temperature (float، اختياري، القيمة الافتراضية 1.0) — درجة الحرارة للعينات. كلما زادت درجة الحرارة، زادت عشوائية المكملات.
  • top_p (float، اختياري، القيمة الافتراضية 1.0) — قيمة عشرية تتحكم في الاحتمال التراكمي لأعلى الرموز المراد أخذها في الاعتبار. يجب أن تكون ضمن المجال (0، 1]. اضبطها على 1.0 لاعتبار جميع الرموز.
  • top_k (int، اختياري، القيمة الافتراضية 0) — عدد رموز المفردات ذات أعلى احتمالات التي يجب الاحتفاظ بها لتصفية top-k. إذا كانت القيمة 0، يتم تعطيل تصفية top-k وتُعتبر جميع الرموز.
  • min_p (float, اختياري) — أدنى احتمال للرمز، والذي يُضرب في احتمال الرمز الأكثر احتمالاً. يجب أن يكون قيمة بين 0.0 و 1.0. القيم النموذجية تقع ضمن نطاق 0.01-0.2.
  • repetition_penalty (float، اختياري، القيمة الافتراضية 1.0) — قيمة عشرية تعاقب الرموز الجديدة بناءً على ما إذا كانت تظهر في الاستعلام والنص المولَّد حتى الآن. القيم > 1.0 تشجع النموذج على استخدام رموز جديدة، بينما القيم < 1.0 تشجع النموذج على تكرار الرموز.
  • cache_implementation (str، اختياري) — تنفيذ طريقة التخزين المؤقت لتسريع التوليد عند ضبط use_vllm على False.
  • generation_kwargs (dict[str, Any], اختياري) — معلمات إضافية بالكلمات المفتاحية تُمرَّر إلى GenerationConfig (في حال استخدام transformers) أو SamplingParams (في حال استخدام vLLM) عند أخذ عينات من المكملات. يمكن استخدام هذا لتخصيص سلوك التوليد بشكل أكبر، مثل ضبط suppress_tokens، num_beams، وما إلى ذلك. إذا احتوى على مفاتيح تتعارض مع معلمات التوليد الأخرى (مثل min_p، top_p، وما إلى ذلك)، فستتجاوزها.
  • chat_template_kwargs (dict[str, Any]، اختياري) — معلمات إضافية بالكلمات المفتاحية تُمرَّر إلى دالة apply_chat_template عند توليد الإكمالات.
  • ds3_gather_for_generation (bool، اختياري، القيمة الافتراضية True) — تنطبق هذه الإعدادات على DeepSpeed ZeRO-3. إذا تم تفعيلها، يتم تجميع أوزان نموذج السياسة للتوليد، مما يحسّن سرعة التوليد. ومع ذلك، فإن تعطيل هذا الخيار يتيح تدريب نماذج تتجاوز سعة ذاكرة VRAM لبطاقة رسومات واحدة، على الرغم من أن ذلك يأتي على حساب بطء التوليد. لا يتوافق تعطيل هذا الخيار مع توليد vLLM.

المعاملات التي تتحكم في تسريع التوليد المدعوم بواسطة vLLM

  • use_vllm (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم استخدام vLLM لتوليد المكملات. إذا تم ضبطه على True، فسيستخدم المدرب vLLM للتوليد بدلاً من model.generate() الافتراضي. يتطلب تثبيت vllm.
  • use_teacher_server (bool، اختياري، القيمة الافتراضية False) — احسب احتمالات السجلات للمعلم (teacher logprobs) من خادم توليد vLLM قيد التشغيل بدلاً من تمرير محلي للمعلم. مدعوم فقط عند teacher_model_kind='live' مع use_vllm=True وvllm_mode='server'، وdistillation_mode ضمن {‘sampled_token’، ‘topk_logits’} (يعيد الخادم أعلى k احتمال سجل للمعلم، وليس كامل المفردات؛ topk_logits يوزّع على دعم أعلى k الخاص بالمعلم نفسه).
  • vllm_mode (str, اختياري، القيمة الافتراضية "colocate") — الوضع المستخدم لتكامل vLLM عند ضبط use_vllm على True. يجب أن يكون أحد 'server' أو 'colocate'. 'server': سيقوم المدرب بإرسال طلبات التوليد إلى خادم vLLM منفصل. تأكد من أن خادم vLLM قيد التشغيل (ابدأه باستخدام vllm serve). 'colocate': سيعمل vLLM في نفس العملية ويشارك وحدات معالجة الرسوميات الخاصة بالتدريب. هذا يتجنب الحاجة إلى خادم منفصل لكنه قد يسبب تنافساً على الموارد مع التدريب.
  • vllm_model_impl (str، اختياري، القيمة الافتراضية "vllm") — تنفيذ النموذج المستخدم في vLLM. يجب أن يكون أحد transformers أو vllm. transformers: استخدام خلفية transformers لتنفيذ النموذج. vllm: استخدام مكتبة vllm لتنفيذ النموذج.
  • vllm_enable_sleep_mode (bool، اختياري، القيمة الافتراضية False) — تفعيل وضع السكون في vLLM لتفريغ الأوزان/الذاكرة المؤقتة أثناء خطوة المُحسِّن. يُبقي استخدام ذاكرة وحدة معالجة الرسوميات منخفضًا، لكن استيقاظ المحرّك يضيف زمن انتقال بين المضيف والوحدة.
  • vllm_server_base_url (str, اختياري) — العنوان الأساسي لخادم vLLM (مثل ‘http://localhost:8000’). إذا تم تقديمه، يتم تجاهل vllm_server_host و vllm_server_port.
  • vllm_server_host (str، اختياري، القيمة الافتراضية "0.0.0.0") — عنوان مضيف خادم vLLM الذي سيتم الاتصال به. يتم تجاهل هذا المعامل إذا تم تقديم vllm_server_base_url.
  • vllm_server_port (int, اختياري، القيمة الافتراضية 8000) — منفذ خادم vLLM الذي يجب الاتصال به. يتم تجاهله إذا تم توفير vllm_server_base_url.
  • vllm_group_port (int، اختياري، القيمة الافتراضية 51216) — رقم المنفذ لمجموعة تحديث الأوزان. يُستخدم للتواصل مع خادم vLLM. ما لم يكن المنفذ مشغولاً، فلا حاجة لتغييره.
  • vllm_server_timeout (float, اختياري, القيمة الافتراضية 240.0) — المدة الإجمالية للوقت المحدد بالثواني للانتظار حتى يصبح خادم vLLM قيد التشغيل. إذا لم يكن الخادم قيد التشغيل بعد انتهاء المهلة، يتم رفع ConnectionError.
  • vllm_tensor_parallel_size (int, اختياري، القيمة الافتراضية 1) — التحكم في حجم التوازي للتensors في vLLM. لا تنطبق هذه الإعدادات إلا عندما تكون قيمة vllm_mode هي 'colocate'. إذا كنت تستخدم vllm_mode='server'، فيجب تمرير هذا المعامل بشكل منفصل عند إطلاق خادم vLLM عبر علم --vllm_tensor_parallel_size.
  • vllm_gpu_memory_utilization (float, اختياري، القيمة الافتراضية 0.3) — التحكم في استهلاك ذاكرة GPU في vLLM. لا تنطبق هذه الإعدادات إلا عندما تكون قيمة vllm_mode هي 'colocate'. إذا كنت تستخدم vllm_mode='server'، فيجب تمرير هذا المعامل بشكل منفصل عند إطلاق خادم vLLM عبر علم --vllm_gpu_memory_utilization.
  • vllm_max_model_length (int, اختياري) — نافذة السياق الخاصة بـ vLLM. اضبطه على الأقل على طول الإدخال الأقصى في مجموعة البيانات مضافًا إليه max_completion_length؛ وإذا تم تجاهله، فسيتم استنتاجه من إعدادات النموذج.

المعاملات التي تتحكم في التدريب

  • num_iterations (int، اختياري، القيمة الافتراضية 1) — عدد التكرارات لكل دفعة (يُرمز له بـ μ في الخوارزمية).
  • generation_batch_size (int، اختياري) — حجم الدفعة المستخدمة للتوليد. إذا كانت None، فإن القيمة الافتراضية هي حجم دفعة التدريب الفعلية: per_device_train_batch_size * num_processes * steps_per_generation.
  • steps_per_generation (int، اختياري) — عدد الخطوات لكل عملية توليد. إذا كانت None، فإن القيمة الافتراضية هي gradient_accumulation_steps.

فئة التهيئة الخاصة بـ experimental.sdft.SDFTTrainer.

SDFTTrainer

فئة trl.experimental.sdft.SDFTTrainer

< >

( model: typing.Union[str, transformers.modeling_utils.PreTrainedModel, torch.nn.Module]args: trl.experimental.sdft.sdft_config.SDFTConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)peft_config: PeftConfig | None = None )

Trainer للتقطير الذاتي على السياسة بنمط SDFT مع موجهات معلّم صريحة.

تدريب

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

المعاملات

  • resume_from_checkpoint (str أو bool، اختياري) — إذا كان str، فهو المسار المحلي لنقطة تفتيش محفوظة بواسطة نسخة سابقة من Trainer. وإذا كان bool ويساوي True، يتم تحميل آخر نقطة تفتيش في args.output_dir كما حفظتها نسخة سابقة من Trainer. إذا كانت موجودة، فسيستأنف التدريب من حالات النموذج/المُحسِّن/المُجدوِل المحمَّلة هنا.
  • trial (optuna.Trial أو dict[str, Any]، اختياري) — التجربة أو قاموس المعاملات الفائقة للبحث في المعاملات الفائقة.
  • ignore_keys_for_eval (list[str]، اختياري) — قائمة بالمفاتيح في مخرجات النموذج الخاص بك (إذا كان قاموسًا) التي يجب تجاهلها عند جمع التوقعات للتقييم أثناء التدريب.

يعيد

~trainer_utils.TrainOutput

كائن يحتوي على عدد الخطوات العالمية، وخسارة التدريب، والمقاييس.

نقطة الدخول الرئيسية للتدريب.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

سيحفظ النموذج، بحيث يمكنك إعادة تحميله باستخدام from_pretrained().

سيتم الحفظ من العملية الرئيسية فقط.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

المعاملات

  • commit_message (str، اختياري، الافتراضي "End of training") — الرسالة التي تُرسل عند الدفع.
  • blocking (bool، اختياري، الافتراضي True) — ما إذا كان ينبغي للدالة أن تُرجع فقط بعد اكتمال git push.
  • token (str، اختياري، القيمة الافتراضية None) — رمز (Token) يملك صلاحية الكتابة لتجاوز الحجج الأصلية الخاصة بـ Trainer.
  • revision (str، اختياري) — مراجعة git التي سيتم الالتزام منها. الافتراضي هو رأس فرع “main”.
  • private (bool، اختياري) — ما إذا كان يجب جعل المستودع خاصًا عند إنشائه. القيمة الافتراضية هي args.hub_private_repo. لا يكون له أي تأثير إذا كان المستودع موجودًا مسبقًا.
  • kwargs (dict[str, Any]، اختياري) — معلمات إضافية تُمرَّر إلى ~Trainer.create_model_card.

ارفع self.model وself.processing_class إلى مركز النماذج 🤗 في المستودع self.args.hub_model_id.

Update on GitHub