TRL documentation

SDFT

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SDFT

Метод самодистиллированного дообучения (SDFT) описан в статье Self-Distillation Enables Continual Learning авторов Idan Shenfeld, Mehul Damani, Jonas Hübotter и Pulkit Agrawal.

Непрерывное обучение, позволяющее моделям осваивать новые навыки и знания без деградации существующих возможностей, остается фундаментальной задачей для базовых моделей. Хотя обучение с подкреплением по текущей политике (on-policy) может снизить забывание, оно требует явных функций вознаграждения, которые часто недоступны. Обучение на демонстрациях экспертов, являющееся основным альтернативным подходом, доминируется надзорным дообучением (SFT), которое по своей природе является off-policy. Мы предлагаем метод Self-Distillation Fine-Tuning (SDFT) — простой подход, позволяющий осуществлять on-policy обучение непосредственно на демонстрациях. SDFT использует обучение в контексте (in-context learning), применяя модель, обусловленную демонстрацией, в качестве собственного учителя, генерируя on-policy сигналы для обучения, которые сохраняют предыдущие возможности при освоении новых навыков. На задачах освоения навыков и приобретения знаний SDFT стабильно превосходит SFT, достигая более высокой точности на новых задачах при существенном снижении катастрофического забывания. В экспериментах по последовательному обучению SDFT позволяет одной модели накапливать несколько навыков со временем без деградации производительности, утверждая on-policy дистилляцию как практический путь к непрерывному обучению на демонстрациях.

Как это работает

Обычная дообучение с учителем (supervised fine-tuning) обучает модель на демонстрационном тексте off-policy, что, как правило, приводит к потере ранее сформированных навыков. SDFT обучает on-policy: студент генерирует токены на основе простого prompt, а учитель — та же самая модель, которой показан prompt плюс privileged_context примера — пересчитывает вероятности этих токенов, и её распределение, обусловленное демонстрацией, дистиллируется обратно в студента. Учитель и студент представляют собой одну нейросеть, различающуюся лишь тем, что они видят, что создаёт цикл самодистилляции.

Выбор учителя

teacher_model_kind определяет, какая копия модели выступает в роли учителя. "base" (значение по умолчанию) фиксирует начальные веса как неизменную эталонную копию, что соответствует описанию в статье; "live" использует текущую модель-ученика в качестве учителя с нулевой задержкой; "ema" поддерживает экспоненциальное скользящее среднее, которое синхронизируется каждые teacher_sync_steps шагов с коэффициентом teacher_update_rate. В режиме PEFT вариант "base" реализуется путём отключения адаптера во время прямого прохода учителя для восстановления базовых весов, а "ema" при обучении с чистым LoRA хранит скользящее среднее в выделенном адаптере "teacher" вместо второй копии модели. Вариант "ema" с моделью PEFT, не являющейся чистым LoRA (например, с modules_to_save или bias), не поддерживается, поскольку отдельная копия EMA не может быть сопоставлена с моделью-учеником по параметрам.

По умолчанию студент генерирует текст из исходного промпта; установите generate_from_teacher=True, чтобы выборка шла из промпта, обусловленного демонстрацией, — это жертвует точностью on-policy ради более высокого качества rollouts. Целевая функция дистилляции задаётся параметрами distillation_mode (по умолчанию "topk_logits", также доступны варианты "full_logits" и "sampled_token"), distillation_alpha и distillation_topk; num_loss_tokens_to_skip исключает начальные токены завершения из расчёта loss. Обучение ведётся только с текстом; генерация по умолчанию выполняется через transformers, либо через vLLM (в режиме colocate или server), если установлено use_vllm=True.

Использование

from datasets import Dataset

from trl.experimental.sdft import SDFTConfig, SDFTTrainer

dataset = Dataset.from_dict(
    {
        "prompt": [[{"role": "user", "content": "Solve 2+2."}]],
        "privileged_context": ["Example answer: 4."],
    }
)

training_args = SDFTConfig(
    output_dir="sdft-model",
    distillation_alpha=0.5,
    distillation_mode="topk_logits",
    distillation_topk=5,
    max_completion_length=64,
)

trainer = SDFTTrainer(
    model="Qwen/Qwen2.5-1.5B-Instruct",
    args=training_args,
    train_dataset=dataset,
)
trainer.train()

Чтобы генерировать из промпта, обусловленного учителем, вместо промпта студента, установите generate_from_teacher=True. Чтобы настроить способ построения промпта учителя, установите teacher_prompt_template в experimental.sdft.SDFTConfig.

Запуск учителя с сервера vLLM

При teacher_model_kind="live" учителем выступает текущий студент, веса которого уже хранятся на сервере server vLLM (они синхронизируются для генерации на каждом шаге). Установите use_teacher_server=True, чтобы оценивать лог-вероятности учителя на этом же сервере, а не выполнять отдельный локальный прямой проход учителя, полностью исключая учителя из шага обучения:

training_args = SDFTConfig(
    output_dir="sdft-model",
    use_vllm=True,
    vllm_mode="server",
    teacher_model_kind="live",
    use_teacher_server=True,
    distillation_mode="sampled_token",
)

При использовании сервера-учителя:

  • use_vllm=True и vllm_mode="server" являются обязательными
  • teacher_model_kind должен быть "live" (сервер хранит текущие веса ученика)
  • distillation_mode должен быть "sampled_token" (обратный KL по реализованному токену) или "topk_logits". Сервер возвращает собственные top-k log-probs учителя, поэтому topk_logits дистиллирует по top-k поддержке учителя (в отличие от локальной цели, использовать поддержку студента нельзя); при учителе "live" эти две поддержки практически совпадают. full_logits недоступен.

Ожидаемые столбцы набора данных

Каждый пример должен содержать:

  • prompt: промпт для студента
  • privileged_context: только дополнительная информация, доступная исключительно учителю, например демонстрация, подсказка или привилегированная обратная связь

Обработчик промптов в trainer поддерживает как стандартные текстовые промпты, так и промпты в формате диалога.

Обработчики событий

Тренер предоставляет небольшой набор хуков обратного вызова, полезных для отладки, наблюдаемости и тестирования. Эти хуки предназначены в качестве практических точек интеграции для экспериментальных рабочих процессов само-дистилляции.

Общие хуки самодистилляции:

  • on_self_distillation_batch_prepared: срабатывает, когда батч для self-distillation готов. В полезной нагрузке содержатся prompt_ids, completion_ids и old_per_token_logps, если доступны входные данные для обрезания при importance sampling.
  • on_generation_batch_built: срабатывает при создании нового буферизованного батча генерации. В полезной нагрузке содержатся generate_every и steps_per_generation.

Специфический для SDFT хук:

  • on_generation_prompts_selected: срабатывает, когда SDFT выбирает источник промптов для on-policy генерации. В полезной нагрузке содержатся выбранные generation_prompts и соответствующие generation_prompt_text.

Пример скрипта

Используйте examples/sdft_privileged_context/sdft_privileged_context.py для запуска обучения SDFT из командной строки. Скрипт поддерживает любые каузальные LM из Hub, пользовательские локальные датасеты через --dataset_path и PEFT/LoRA через стандартные флаги ModelConfig.

python examples/sdft_privileged_context/sdft_privileged_context.py \
    --model_name_or_path Qwen/Qwen3.5-0.8B \
    --dataset_name your-org/your-dataset \
    --output_dir outputs/sdft-qwen3.5-0.8b \
    --per_device_train_batch_size 1 \
    --gradient_accumulation_steps 16 \
    --learning_rate 2e-5 \
    --max_prompt_length 1024 \
    --max_completion_length 512 \
    --generate_from_teacher \
    --teacher_model_kind ema \
    --teacher_sync_steps 1 \
    --teacher_update_rate 0.05 \
    --eval_strategy steps \
    --eval_steps 50 \
    --report_to wandb

Оригинальная реализация доступна по адресу idanshen/Self-Distillation.

SDFTConfig

класс trl.experimental.sdft.SDFTConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | None = Nonetrust_remote_code: bool = Falsedisable_dropout: bool = Truemax_prompt_length: int | None = 512num_generations: int = 8num_generations_eval: int | None = Nonemax_completion_length: int | None = 256ds3_gather_for_generation: bool = Trueshuffle_dataset: bool = Truegeneration_batch_size: int | None = Nonesteps_per_generation: int | None = Nonetemperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonegeneration_kwargs: dict[str, typing.Any] | None = Nonechat_template_kwargs: dict[str, typing.Any] | None = Nonerepetition_penalty: float = 1.0cache_implementation: str | None = Noneuse_vllm: bool = Falseuse_teacher_server: bool = Falsevllm_mode: str = 'colocate'vllm_model_impl: str = 'vllm'vllm_enable_sleep_mode: bool = Falsevllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_group_port: int = 51216vllm_server_timeout: float = 240.0vllm_tensor_parallel_size: int = 1vllm_gpu_memory_utilization: float = 0.3vllm_max_model_length: int | None = Nonenum_iterations: int = 1teacher_model_kind: str = 'base'teacher_update_rate: float = 0.05teacher_sync_steps: int = 1distillation_alpha: float = 0.5distillation_mode: typing.Literal['sampled_token', 'full_logits', 'topk_logits'] = 'topk_logits'distillation_topk: int | None = 100distillation_is_clip: float | None = 2.0distillation_add_tail: bool = Falsegenerate_from_teacher: bool = Falseteacher_prompt_template: str = '{prompt}\n\n{privileged_context}'num_loss_tokens_to_skip: int = 0 )

Параметры, управляющие потерей SDFT

  • distillation_alpha (float, необязательный, по умолчанию 0.5) — Коэффициент интерполяции расхождения для дистилляции топ-k логитов SDFT.
  • distillation_mode (Literal["sampled_token", "full_logits", "topk_logits"], необязательный, по умолчанию "topk_logits") — Режим функции потерь дистилляции. По умолчанию SDFT использует дистилляцию топ-k логитов.
  • distillation_topk (int, необязательный, по умолчанию 100) — Количество верхних токенов, используемых целевой функцией top-k для логитов по умолчанию в SDFT.
  • distillation_is_clip (float, необязательный, по умолчанию 2.0) — Коэффициент обрезки для importance sampling в self-distillation. None отключает обрезку.
  • distillation_add_tail (bool, необязательный, по умолчанию False) — Добавлять ли хвостовое ведро для вероятностной массы, не входящей в топ-k.
  • num_loss_tokens_to_skip (int, необязательный, по умолчанию 0) — Количество начальных токенов завершения, которые исключаются из потерь дистилляции.

Параметры, управляющие учителем

  • teacher_model_kind (str, необязательный, по умолчанию "base") — Выбор семантического учителя для SDFT. base использует исходного студента, live — текущего студента, а ema — учителя с экспоненциальным усреднением.
  • teacher_update_rate (float, необязательный, по умолчанию 0.05) — коэффициент обновления EMA, используемый при teacher_model_kind="ema". Значение 1.0 сводит обновление к жёсткому перезаписыванию, периодически синхронизируя модель-учителя с текущими весами модели-ученика.
  • teacher_sync_steps (int, необязательный, по умолчанию 1) — Количество шагов оптимизатора между обновлениями учителя.

Параметры, управляющие генерацией с условием на учителе

  • generate_from_teacher (bool, необязательный, по умолчанию False) — Определяет, следует ли при генерации on-policy использовать промпт с условием от учителя вместо промпта студента.
  • teacher_prompt_template (str, необязательный, по умолчанию "{prompt}\n\n{privileged_context}") — Шаблон, используемый для объединения промпта студента и привилегированного контекста в промпт учителя.

Параметры, управляющие моделью

  • model_init_kwargs (dict[str, Any], необязательный) — Параметры-ключи для transformers.AutoModelForCausalLM.from_pretrained, используемые, когда аргумент model в SDFTTrainer передан в виде строки. Значение revision также используется при загрузке класса обработки.
  • trust_remote_code (bool, optional, defaults to False) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained, for both the student and teacher.
  • disable_dropout (bool, необязательный, по умолчанию True) — Определяет, следует ли отключить dropout в моделях студента и учителя.

Параметры, управляющие предобработкой данных

  • remove_unused_columns (bool, необязательный, по умолчанию False) — Определяет, следует ли в наборе данных оставлять только те столбцы, которые необходимы тренеру. Оставьте это значение равным False, если вы предоставляете дополнительные столбцы (например, privileged_context), которые нужны тренеру.
  • max_prompt_length (int, необязательный, по умолчанию 512) — Максимальная длина промпта. Более длинные промпты обрезаются слева.
  • shuffle_dataset (bool, необязательный, по умолчанию True) — Определяет, следует ли перемешивать обучающий набор данных.

Параметры, управляющие генерацией

  • num_generations (int, необязательный, по умолчанию 8) — Количество генераций для выборки. Эффективный размер батча (num_processes per_device_batch_size gradient_accumulation_steps) должен делиться на это значение без остатка.
  • num_generations_eval (int, необязательный) — Количество генераций для выборки во время оценки. Это позволяет использовать меньшее количество генераций при оценке, чтобы сэкономить вычислительные ресурсы. Если None, используется значение num_generations.
  • max_completion_length (int, необязательный, по умолчанию 256) — Максимальная длина сгенерированного завершения.
  • temperature (float, необязательный, по умолчанию 1.0) — Температура для выборки. Чем выше температура, тем более случайными будут завершения.
  • top_p (float, необязательный, по умолчанию 1.0) — Число с плавающей точкой, управляющее накопленной вероятностью верхних токенов, которые следует учитывать. Должно находиться в интервале (0, 1]. Установите значение 1.0, чтобы учитывать все токены.
  • top_k (int, необязательный, по умолчанию 0) — Количество токенов словаря с наивысшей вероятностью, которые сохраняются для фильтрации top-k. Если 0, фильтрация top-k отключается и учитываются все токены.
  • min_p (float, необязательный) — Минимальная вероятность токена, которая масштабируется вероятностью наиболее вероятного токена. Значение должно находиться в диапазоне от 0.0 до 1.0. Типичные значения лежат в диапазоне 0.01–0.2.
  • repetition_penalty (float, необязательный, по умолчанию 1.0) — Число с плавающей точкой, которое штрафует новые токены в зависимости от того, присутствуют ли они в исходном запросе и в уже сгенерированном тексте. Значения > 1.0 побуждают модель использовать новые токены, а значения < 1.0 — повторять токены.
  • cache_implementation (str, необязательный) — Реализация метода кэширования для более быстрого генерирования, когда use_vllm установлено в False.
  • generation_kwargs (dict[str, Any], необязательный) — Дополнительные именованные аргументы для передачи в GenerationConfig (при использовании transformers) или SamplingParams (при использовании vLLM) при генерации завершений. Это позволяет дополнительно настраивать поведение генерации, например, устанавливать suppress_tokens, num_beams и т. д. Если в словаре содержатся ключи, конфликтующие с другими параметрами генерации (например, min_p, top_p и т. д.), они будут иметь приоритет.
  • chat_template_kwargs (dict[str, Any], необязательный) — Дополнительные именованные аргументы для передачи в функцию apply_chat_template при генерации ответов.
  • ds3_gather_for_generation (bool, необязательный, по умолчанию True) — Этот параметр относится к DeepSpeed ZeRO-3. Если включен, веса модели политики собираются для генерации, что повышает скорость генерации. Однако отключение этого параметра позволяет обучать модели, превышающие VRAM-емкость одного GPU, хотя и за счет более медленной генерации. Отключение этого параметра несовместимо с генерацией vLLM.

Параметры, управляющие ускорением генерации на базе vLLM

  • use_vllm (bool, необязательный, по умолчанию False) — Использовать ли vLLM для генерации завершений. Если установлено в True, тренер будет использовать vLLM для генерации вместо стандартного model.generate(). Требуется установка vllm.
  • use_teacher_server (bool, необязательный, по умолчанию False) — Вычисляет logprobs учителя из работающего сервера генерации vLLM, а не через локальный прямой проход учителя. Поддерживается только для teacher_model_kind='live' с use_vllm=True и vllm_mode='server', а также distillation_mode из {‘sampled_token’, ‘topk_logits’} (сервер возвращает top-k logprobs учителя, а не по всему словарю; topk_logits дистиллирует по собственному top-k подмножеству учителя).
  • vllm_mode (str, необязательный, по умолчанию "colocate") — Режим, используемый для интеграции с vLLM, когда use_vllm установлен в True. Должно быть одно из значений 'server' или 'colocate'. 'server': Тренер будет отправлять запросы на генерацию отдельному серверу vLLM. Убедитесь, что сервер vLLM запущен (запустите с помощью vllm serve). 'colocate': vLLM будет работать в том же процессе и использовать те же GPU, что и обучение. Это избавляет от необходимости в отдельном сервере, но может привести к конкуренции за ресурсы с процессом обучения.
  • vllm_model_impl (str, необязательный, по умолчанию "vllm") — Реализация модели для vLLM. Должно быть одним из transformers или vllm. transformers: Использовать бэкенд transformers для реализации модели. vllm: Использовать библиотеку vllm для реализации модели.
  • vllm_enable_sleep_mode (bool, необязательный, по умолчанию False) — Включает режим сна vLLM для выгрузки весов/кэша во время шага оптимизатора. Держит использование памяти GPU на низком уровне, но пробуждение движка добавляет задержку на передачу данных между хостом и устройством.
  • vllm_server_base_url (str, необязательный) — Базовый URL для сервера vLLM (например, ‘http://localhost:8000’). Если указан, vllm_server_host и vllm_server_port игнорируются.
  • vllm_server_host (str, необязательный, по умолчанию "0.0.0.0") — Хост сервера vLLM, к которому следует подключиться. Игнорируется, если указано vllm_server_base_url.
  • vllm_server_port (int, необязательный, по умолчанию 8000) — Порт сервера vLLM для подключения. Игнорируется, если указано vllm_server_base_url.
  • vllm_group_port (int, необязательный, по умолчанию 51216) — Номер порта для группы обновления весов. Используется для связи с сервером vLLM. Если порт свободен, менять его не нужно.
  • vllm_server_timeout (float, необязательный, по умолчанию 240.0) — Общее время ожидания в секундах, пока сервер vLLM не станет доступным. Если сервер не запустится по истечении указанного времени, будет выброшено исключение ConnectionError.
  • vllm_tensor_parallel_size (int, необязательный, по умолчанию 1) — Управляет размером тензорного параллелизма для vLLM. Этот параметр применяется только при установке vllm_mode в значение 'colocate'. Если вы используете vllm_mode='server', этот параметр необходимо передавать отдельно при запуске сервера vLLM с помощью флага --vllm_tensor_parallel_size.
  • vllm_gpu_memory_utilization (float, необязательный, по умолчанию 0.3) — Управляет использованием памяти GPU в vLLM. Этот параметр применяется только при установке vllm_mode в значение 'colocate'. Если вы используете vllm_mode='server', этот параметр необходимо передавать отдельно при запуске сервера vLLM с помощью флага --vllm_gpu_memory_utilization.
  • vllm_max_model_length (int, необязательный) — Оконно контекста для vLLM. Установите значение не менее максимальной длины промпта в наборе данных плюс max_completion_length; если параметр не указан, он вычисляется из конфигурации модели.

Параметры, управляющие обучением

  • num_iterations (int, необязательный, по умолчанию 1) — Количество итераций на каждый пакет (обозначается как μ в алгоритме).
  • generation_batch_size (int, необязательный) — Размер батча, используемый для генерации. Если None, по умолчанию используется эффективный размер обучающего батча: per_device_train_batch_size * num_processes * steps_per_generation.
  • steps_per_generation (int, необязательный) — Количество шагов на генерацию. Если None, по умолчанию используется gradient_accumulation_steps.

Класс конфигурации для experimental.sdft.SDFTTrainer.

SDFTTrainer

класс trl.experimental.sdft.SDFTTrainer

< >

( model: typing.Union[str, transformers.modeling_utils.PreTrainedModel, torch.nn.Module]args: trl.experimental.sdft.sdft_config.SDFTConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)peft_config: PeftConfig | None = None )

Trainer для on-policy само-дистилляции в стиле SDFT с явными teacher-промптами.

обучение

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

Параметры

  • resume_from_checkpoint (str или bool, необязательный) — Если передано значение типа str, это локальный путь к сохранённой контрольной точке, созданной предыдущим экземпляром Trainer. Если передано значение типа bool и оно равно True, загружается последняя контрольная точка из args.output_dir, сохранённая предыдущим экземпляром Trainer. Если параметр указан, обучение возобновляется из состояний модели/оптимизатора/планировщика, загруженных из этой контрольной точки.
  • trial (optuna.Trial или dict[str, Any], необязательный) — Запуск испытания или словарь гиперпараметров для поиска гиперпараметров.
  • ignore_keys_for_eval (list[str], необязательный) — Список ключей в выводе вашей модели (если он представляет собой словарь), которые следует игнорировать при сборе предсказаний для оценки во время обучения.

Возвращает

~trainer_utils.TrainOutput

Объект, содержащий количество глобальных шагов, потерю обучения и метрики.

Основная точка входа для обучения.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Сохранит модель, чтобы вы могли загрузить её снова с помощью from_pretrained().

Сохранение будет выполняться только из основного процесса.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Параметры

  • commit_message (str, необязательный, по умолчанию "End of training") — Сообщение для коммита при отправке.
  • blocking (bool, необязательный, по умолчанию True) — Определяет, должна ли функция возвращаться только после завершения git push.
  • token (str, необязательный, по умолчанию None) — Токен с правом записи для перезаписи исходных аргументов Trainer.
  • revision (str, необязательный) — Git-ревизия, от которой выполняется коммит. По умолчанию используется head ветки “main”.
  • private (bool, необязательный) — Определяет, следует ли сделать репозиторий приватным при его создании. По умолчанию используется значение args.hub_private_repo. Не имеет эффекта, если репозиторий уже существует.
  • kwargs (dict[str, Any], необязательный) — Дополнительные именованные аргументы, передаваемые в ~Trainer.create_model_card.

Загрузите self.model и self.processing_class в модельный хаб 🤗 в репозиторий self.args.hub_model_id.

Update on GitHub