TRL documentation
SDFT
SDFT
Метод самодистиллированного дообучения (SDFT) описан в статье Self-Distillation Enables Continual Learning авторов Idan Shenfeld, Mehul Damani, Jonas Hübotter и Pulkit Agrawal.
Непрерывное обучение, позволяющее моделям осваивать новые навыки и знания без деградации существующих возможностей, остается фундаментальной задачей для базовых моделей. Хотя обучение с подкреплением по текущей политике (on-policy) может снизить забывание, оно требует явных функций вознаграждения, которые часто недоступны. Обучение на демонстрациях экспертов, являющееся основным альтернативным подходом, доминируется надзорным дообучением (SFT), которое по своей природе является off-policy. Мы предлагаем метод Self-Distillation Fine-Tuning (SDFT) — простой подход, позволяющий осуществлять on-policy обучение непосредственно на демонстрациях. SDFT использует обучение в контексте (in-context learning), применяя модель, обусловленную демонстрацией, в качестве собственного учителя, генерируя on-policy сигналы для обучения, которые сохраняют предыдущие возможности при освоении новых навыков. На задачах освоения навыков и приобретения знаний SDFT стабильно превосходит SFT, достигая более высокой точности на новых задачах при существенном снижении катастрофического забывания. В экспериментах по последовательному обучению SDFT позволяет одной модели накапливать несколько навыков со временем без деградации производительности, утверждая on-policy дистилляцию как практический путь к непрерывному обучению на демонстрациях.
Как это работает
Обычная дообучение с учителем (supervised fine-tuning) обучает модель на демонстрационном тексте off-policy, что, как правило, приводит к потере ранее сформированных навыков. SDFT обучает on-policy: студент генерирует токены на основе простого prompt, а учитель — та же самая модель, которой показан prompt плюс privileged_context примера — пересчитывает вероятности этих токенов, и её распределение, обусловленное демонстрацией, дистиллируется обратно в студента. Учитель и студент представляют собой одну нейросеть, различающуюся лишь тем, что они видят, что создаёт цикл самодистилляции.
Выбор учителя
teacher_model_kind определяет, какая копия модели выступает в роли учителя. "base" (значение по умолчанию) фиксирует начальные веса как неизменную эталонную копию, что соответствует описанию в статье; "live" использует текущую модель-ученика в качестве учителя с нулевой задержкой; "ema" поддерживает экспоненциальное скользящее среднее, которое синхронизируется каждые teacher_sync_steps шагов с коэффициентом teacher_update_rate. В режиме PEFT вариант "base" реализуется путём отключения адаптера во время прямого прохода учителя для восстановления базовых весов, а "ema" при обучении с чистым LoRA хранит скользящее среднее в выделенном адаптере "teacher" вместо второй копии модели. Вариант "ema" с моделью PEFT, не являющейся чистым LoRA (например, с modules_to_save или bias), не поддерживается, поскольку отдельная копия EMA не может быть сопоставлена с моделью-учеником по параметрам.
По умолчанию студент генерирует текст из исходного промпта; установите generate_from_teacher=True, чтобы выборка шла из промпта, обусловленного демонстрацией, — это жертвует точностью on-policy ради более высокого качества rollouts. Целевая функция дистилляции задаётся параметрами distillation_mode (по умолчанию "topk_logits", также доступны варианты "full_logits" и "sampled_token"), distillation_alpha и distillation_topk; num_loss_tokens_to_skip исключает начальные токены завершения из расчёта loss. Обучение ведётся только с текстом; генерация по умолчанию выполняется через transformers, либо через vLLM (в режиме colocate или server), если установлено use_vllm=True.
Использование
from datasets import Dataset
from trl.experimental.sdft import SDFTConfig, SDFTTrainer
dataset = Dataset.from_dict(
{
"prompt": [[{"role": "user", "content": "Solve 2+2."}]],
"privileged_context": ["Example answer: 4."],
}
)
training_args = SDFTConfig(
output_dir="sdft-model",
distillation_alpha=0.5,
distillation_mode="topk_logits",
distillation_topk=5,
max_completion_length=64,
)
trainer = SDFTTrainer(
model="Qwen/Qwen2.5-1.5B-Instruct",
args=training_args,
train_dataset=dataset,
)
trainer.train()Чтобы генерировать из промпта, обусловленного учителем, вместо промпта студента, установите generate_from_teacher=True.
Чтобы настроить способ построения промпта учителя, установите teacher_prompt_template в experimental.sdft.SDFTConfig.
Запуск учителя с сервера vLLM
При teacher_model_kind="live" учителем выступает текущий студент, веса которого уже хранятся на сервере server vLLM (они синхронизируются для генерации на каждом шаге). Установите use_teacher_server=True, чтобы оценивать лог-вероятности учителя на этом же сервере, а не выполнять отдельный локальный прямой проход учителя, полностью исключая учителя из шага обучения:
training_args = SDFTConfig(
output_dir="sdft-model",
use_vllm=True,
vllm_mode="server",
teacher_model_kind="live",
use_teacher_server=True,
distillation_mode="sampled_token",
)При использовании сервера-учителя:
use_vllm=Trueиvllm_mode="server"являются обязательнымиteacher_model_kindдолжен быть"live"(сервер хранит текущие веса ученика)distillation_modeдолжен быть"sampled_token"(обратный KL по реализованному токену) или"topk_logits". Сервер возвращает собственные top-k log-probs учителя, поэтомуtopk_logitsдистиллирует по top-k поддержке учителя (в отличие от локальной цели, использовать поддержку студента нельзя); при учителе"live"эти две поддержки практически совпадают.full_logitsнедоступен.
Ожидаемые столбцы набора данных
Каждый пример должен содержать:
prompt: промпт для студентаprivileged_context: только дополнительная информация, доступная исключительно учителю, например демонстрация, подсказка или привилегированная обратная связь
Обработчик промптов в trainer поддерживает как стандартные текстовые промпты, так и промпты в формате диалога.
Обработчики событий
Тренер предоставляет небольшой набор хуков обратного вызова, полезных для отладки, наблюдаемости и тестирования. Эти хуки предназначены в качестве практических точек интеграции для экспериментальных рабочих процессов само-дистилляции.
Общие хуки самодистилляции:
on_self_distillation_batch_prepared: срабатывает, когда батч для self-distillation готов. В полезной нагрузке содержатсяprompt_ids,completion_idsиold_per_token_logps, если доступны входные данные для обрезания при importance sampling.on_generation_batch_built: срабатывает при создании нового буферизованного батча генерации. В полезной нагрузке содержатсяgenerate_everyиsteps_per_generation.
Специфический для SDFT хук:
on_generation_prompts_selected: срабатывает, когда SDFT выбирает источник промптов для on-policy генерации. В полезной нагрузке содержатся выбранныеgeneration_promptsи соответствующиеgeneration_prompt_text.
Пример скрипта
Используйте examples/sdft_privileged_context/sdft_privileged_context.py для запуска обучения SDFT из командной строки. Скрипт поддерживает любые каузальные LM из Hub, пользовательские локальные датасеты через --dataset_path и PEFT/LoRA через стандартные флаги ModelConfig.
python examples/sdft_privileged_context/sdft_privileged_context.py \
--model_name_or_path Qwen/Qwen3.5-0.8B \
--dataset_name your-org/your-dataset \
--output_dir outputs/sdft-qwen3.5-0.8b \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 16 \
--learning_rate 2e-5 \
--max_prompt_length 1024 \
--max_completion_length 512 \
--generate_from_teacher \
--teacher_model_kind ema \
--teacher_sync_steps 1 \
--teacher_update_rate 0.05 \
--eval_strategy steps \
--eval_steps 50 \
--report_to wandbОригинальная реализация доступна по адресу idanshen/Self-Distillation.
SDFTConfig
класс trl.experimental.sdft.SDFTConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | None = Nonetrust_remote_code: bool = Falsedisable_dropout: bool = Truemax_prompt_length: int | None = 512num_generations: int = 8num_generations_eval: int | None = Nonemax_completion_length: int | None = 256ds3_gather_for_generation: bool = Trueshuffle_dataset: bool = Truegeneration_batch_size: int | None = Nonesteps_per_generation: int | None = Nonetemperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonegeneration_kwargs: dict[str, typing.Any] | None = Nonechat_template_kwargs: dict[str, typing.Any] | None = Nonerepetition_penalty: float = 1.0cache_implementation: str | None = Noneuse_vllm: bool = Falseuse_teacher_server: bool = Falsevllm_mode: str = 'colocate'vllm_model_impl: str = 'vllm'vllm_enable_sleep_mode: bool = Falsevllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_group_port: int = 51216vllm_server_timeout: float = 240.0vllm_tensor_parallel_size: int = 1vllm_gpu_memory_utilization: float = 0.3vllm_max_model_length: int | None = Nonenum_iterations: int = 1teacher_model_kind: str = 'base'teacher_update_rate: float = 0.05teacher_sync_steps: int = 1distillation_alpha: float = 0.5distillation_mode: typing.Literal['sampled_token', 'full_logits', 'topk_logits'] = 'topk_logits'distillation_topk: int | None = 100distillation_is_clip: float | None = 2.0distillation_add_tail: bool = Falsegenerate_from_teacher: bool = Falseteacher_prompt_template: str = '{prompt}\n\n{privileged_context}'num_loss_tokens_to_skip: int = 0 )
Параметры, управляющие потерей SDFT
- distillation_alpha (
float, необязательный, по умолчанию0.5) — Коэффициент интерполяции расхождения для дистилляции топ-k логитов SDFT. - distillation_mode (
Literal["sampled_token", "full_logits", "topk_logits"], необязательный, по умолчанию"topk_logits") — Режим функции потерь дистилляции. По умолчанию SDFT использует дистилляцию топ-k логитов. - distillation_topk (
int, необязательный, по умолчанию100) — Количество верхних токенов, используемых целевой функцией top-k для логитов по умолчанию в SDFT. - distillation_is_clip (
float, необязательный, по умолчанию2.0) — Коэффициент обрезки для importance sampling в self-distillation.Noneотключает обрезку. - distillation_add_tail (
bool, необязательный, по умолчаниюFalse) — Добавлять ли хвостовое ведро для вероятностной массы, не входящей в топ-k. - num_loss_tokens_to_skip (
int, необязательный, по умолчанию0) — Количество начальных токенов завершения, которые исключаются из потерь дистилляции.
Параметры, управляющие учителем
- teacher_model_kind (
str, необязательный, по умолчанию"base") — Выбор семантического учителя для SDFT.baseиспользует исходного студента,live— текущего студента, аema— учителя с экспоненциальным усреднением. - teacher_update_rate (
float, необязательный, по умолчанию0.05) — коэффициент обновления EMA, используемый приteacher_model_kind="ema". Значение1.0сводит обновление к жёсткому перезаписыванию, периодически синхронизируя модель-учителя с текущими весами модели-ученика. - teacher_sync_steps (
int, необязательный, по умолчанию1) — Количество шагов оптимизатора между обновлениями учителя.
Параметры, управляющие генерацией с условием на учителе
- generate_from_teacher (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли при генерации on-policy использовать промпт с условием от учителя вместо промпта студента. - teacher_prompt_template (
str, необязательный, по умолчанию"{prompt}\n\n{privileged_context}") — Шаблон, используемый для объединения промпта студента и привилегированного контекста в промпт учителя.
Параметры, управляющие моделью
- model_init_kwargs (
dict[str, Any], необязательный) — Параметры-ключи дляtransformers.AutoModelForCausalLM.from_pretrained, используемые, когда аргументmodelвSDFTTrainerпередан в виде строки. Значениеrevisionтакже используется при загрузке класса обработки. - trust_remote_code (
bool, optional, defaults toFalse) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained, for both the student and teacher. - disable_dropout (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли отключить dropout в моделях студента и учителя.
Параметры, управляющие предобработкой данных
- remove_unused_columns (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли в наборе данных оставлять только те столбцы, которые необходимы тренеру. Оставьте это значение равнымFalse, если вы предоставляете дополнительные столбцы (например,privileged_context), которые нужны тренеру. - max_prompt_length (
int, необязательный, по умолчанию512) — Максимальная длина промпта. Более длинные промпты обрезаются слева. - shuffle_dataset (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли перемешивать обучающий набор данных.
Параметры, управляющие генерацией
- num_generations (
int, необязательный, по умолчанию8) — Количество генераций для выборки. Эффективный размер батча (num_processes per_device_batch_size gradient_accumulation_steps) должен делиться на это значение без остатка. - num_generations_eval (
int, необязательный) — Количество генераций для выборки во время оценки. Это позволяет использовать меньшее количество генераций при оценке, чтобы сэкономить вычислительные ресурсы. ЕслиNone, используется значениеnum_generations. - max_completion_length (
int, необязательный, по умолчанию256) — Максимальная длина сгенерированного завершения. - temperature (
float, необязательный, по умолчанию1.0) — Температура для выборки. Чем выше температура, тем более случайными будут завершения. - top_p (
float, необязательный, по умолчанию1.0) — Число с плавающей точкой, управляющее накопленной вероятностью верхних токенов, которые следует учитывать. Должно находиться в интервале (0, 1]. Установите значение 1.0, чтобы учитывать все токены. - top_k (
int, необязательный, по умолчанию0) — Количество токенов словаря с наивысшей вероятностью, которые сохраняются для фильтрации top-k. Если0, фильтрация top-k отключается и учитываются все токены. - min_p (
float, необязательный) — Минимальная вероятность токена, которая масштабируется вероятностью наиболее вероятного токена. Значение должно находиться в диапазоне от 0.0 до 1.0. Типичные значения лежат в диапазоне 0.01–0.2. - repetition_penalty (
float, необязательный, по умолчанию1.0) — Число с плавающей точкой, которое штрафует новые токены в зависимости от того, присутствуют ли они в исходном запросе и в уже сгенерированном тексте. Значения > 1.0 побуждают модель использовать новые токены, а значения < 1.0 — повторять токены. - cache_implementation (
str, необязательный) — Реализация метода кэширования для более быстрого генерирования, когда use_vllm установлено в False. - generation_kwargs (
dict[str, Any], необязательный) — Дополнительные именованные аргументы для передачи вGenerationConfig(при использовании transformers) илиSamplingParams(при использовании vLLM) при генерации завершений. Это позволяет дополнительно настраивать поведение генерации, например, устанавливатьsuppress_tokens,num_beamsи т. д. Если в словаре содержатся ключи, конфликтующие с другими параметрами генерации (например,min_p,top_pи т. д.), они будут иметь приоритет. - chat_template_kwargs (
dict[str, Any], необязательный) — Дополнительные именованные аргументы для передачи в функциюapply_chat_templateпри генерации ответов. - ds3_gather_for_generation (
bool, необязательный, по умолчаниюTrue) — Этот параметр относится к DeepSpeed ZeRO-3. Если включен, веса модели политики собираются для генерации, что повышает скорость генерации. Однако отключение этого параметра позволяет обучать модели, превышающие VRAM-емкость одного GPU, хотя и за счет более медленной генерации. Отключение этого параметра несовместимо с генерацией vLLM.
Параметры, управляющие ускорением генерации на базе vLLM
- use_vllm (
bool, необязательный, по умолчаниюFalse) — Использовать ли vLLM для генерации завершений. Если установлено вTrue, тренер будет использовать vLLM для генерации вместо стандартного model.generate(). Требуется установкаvllm. - use_teacher_server (
bool, необязательный, по умолчаниюFalse) — Вычисляет logprobs учителя из работающего сервера генерации vLLM, а не через локальный прямой проход учителя. Поддерживается только дляteacher_model_kind='live'сuse_vllm=Trueиvllm_mode='server', а такжеdistillation_modeиз {‘sampled_token’, ‘topk_logits’} (сервер возвращает top-k logprobs учителя, а не по всему словарю;topk_logitsдистиллирует по собственному top-k подмножеству учителя). - vllm_mode (
str, необязательный, по умолчанию"colocate") — Режим, используемый для интеграции с vLLM, когдаuse_vllmустановлен вTrue. Должно быть одно из значений'server'или'colocate'.'server': Тренер будет отправлять запросы на генерацию отдельному серверу vLLM. Убедитесь, что сервер vLLM запущен (запустите с помощьюvllm serve).'colocate': vLLM будет работать в том же процессе и использовать те же GPU, что и обучение. Это избавляет от необходимости в отдельном сервере, но может привести к конкуренции за ресурсы с процессом обучения. - vllm_model_impl (
str, необязательный, по умолчанию"vllm") — Реализация модели для vLLM. Должно быть одним изtransformersилиvllm.transformers: Использовать бэкендtransformersдля реализации модели.vllm: Использовать библиотекуvllmдля реализации модели. - vllm_enable_sleep_mode (
bool, необязательный, по умолчаниюFalse) — Включает режим сна vLLM для выгрузки весов/кэша во время шага оптимизатора. Держит использование памяти GPU на низком уровне, но пробуждение движка добавляет задержку на передачу данных между хостом и устройством. - vllm_server_base_url (
str, необязательный) — Базовый URL для сервера vLLM (например, ‘http://localhost:8000’). Если указан,vllm_server_hostиvllm_server_portигнорируются. - vllm_server_host (
str, необязательный, по умолчанию"0.0.0.0") — Хост сервера vLLM, к которому следует подключиться. Игнорируется, если указано vllm_server_base_url. - vllm_server_port (
int, необязательный, по умолчанию8000) — Порт сервера vLLM для подключения. Игнорируется, если указано vllm_server_base_url. - vllm_group_port (
int, необязательный, по умолчанию51216) — Номер порта для группы обновления весов. Используется для связи с сервером vLLM. Если порт свободен, менять его не нужно. - vllm_server_timeout (
float, необязательный, по умолчанию240.0) — Общее время ожидания в секундах, пока сервер vLLM не станет доступным. Если сервер не запустится по истечении указанного времени, будет выброшено исключениеConnectionError. - vllm_tensor_parallel_size (
int, необязательный, по умолчанию1) — Управляет размером тензорного параллелизма для vLLM. Этот параметр применяется только при установкеvllm_modeв значение'colocate'. Если вы используетеvllm_mode='server', этот параметр необходимо передавать отдельно при запуске сервера vLLM с помощью флага--vllm_tensor_parallel_size. - vllm_gpu_memory_utilization (
float, необязательный, по умолчанию0.3) — Управляет использованием памяти GPU в vLLM. Этот параметр применяется только при установкеvllm_modeв значение'colocate'. Если вы используетеvllm_mode='server', этот параметр необходимо передавать отдельно при запуске сервера vLLM с помощью флага--vllm_gpu_memory_utilization. - vllm_max_model_length (
int, необязательный) — Оконно контекста для vLLM. Установите значение не менее максимальной длины промпта в наборе данных плюсmax_completion_length; если параметр не указан, он вычисляется из конфигурации модели.
Параметры, управляющие обучением
- num_iterations (
int, необязательный, по умолчанию1) — Количество итераций на каждый пакет (обозначается как μ в алгоритме). - generation_batch_size (
int, необязательный) — Размер батча, используемый для генерации. ЕслиNone, по умолчанию используется эффективный размер обучающего батча:per_device_train_batch_size * num_processes * steps_per_generation. - steps_per_generation (
int, необязательный) — Количество шагов на генерацию. ЕслиNone, по умолчанию используетсяgradient_accumulation_steps.
Класс конфигурации для experimental.sdft.SDFTTrainer.
SDFTTrainer
класс trl.experimental.sdft.SDFTTrainer
< source >( model: typing.Union[str, transformers.modeling_utils.PreTrainedModel, torch.nn.Module]args: trl.experimental.sdft.sdft_config.SDFTConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)peft_config: PeftConfig | None = None )
Trainer для on-policy само-дистилляции в стиле SDFT с явными teacher-промптами.
обучение
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
Параметры
- resume_from_checkpoint (
strилиbool, необязательный) — Если передано значение типаstr, это локальный путь к сохранённой контрольной точке, созданной предыдущим экземпляромTrainer. Если передано значение типаboolи оно равноTrue, загружается последняя контрольная точка из args.output_dir, сохранённая предыдущим экземпляромTrainer. Если параметр указан, обучение возобновляется из состояний модели/оптимизатора/планировщика, загруженных из этой контрольной точки. - trial (
optuna.Trialилиdict[str, Any], необязательный) — Запуск испытания или словарь гиперпараметров для поиска гиперпараметров. - ignore_keys_for_eval (
list[str], необязательный) — Список ключей в выводе вашей модели (если он представляет собой словарь), которые следует игнорировать при сборе предсказаний для оценки во время обучения.
Возвращает
~trainer_utils.TrainOutput
Объект, содержащий количество глобальных шагов, потерю обучения и метрики.
Основная точка входа для обучения.
Сохранит модель, чтобы вы могли загрузить её снова с помощью from_pretrained().
Сохранение будет выполняться только из основного процесса.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Параметры
- commit_message (
str, необязательный, по умолчанию"End of training") — Сообщение для коммита при отправке. - blocking (
bool, необязательный, по умолчаниюTrue) — Определяет, должна ли функция возвращаться только после завершенияgit push. - token (
str, необязательный, по умолчаниюNone) — Токен с правом записи для перезаписи исходных аргументов Trainer. - revision (
str, необязательный) — Git-ревизия, от которой выполняется коммит. По умолчанию используется head ветки “main”. - private (
bool, необязательный) — Определяет, следует ли сделать репозиторий приватным при его создании. По умолчанию используется значениеargs.hub_private_repo. Не имеет эффекта, если репозиторий уже существует. - kwargs (
dict[str, Any], необязательный) — Дополнительные именованные аргументы, передаваемые в~Trainer.create_model_card.
Загрузите self.model и self.processing_class в модельный хаб 🤗 в репозиторий self.args.hub_model_id.