TRL documentation
SDFT
SDFT
Self-Distilled Fine-Tuning(SDFT)은 Idan Shenfeld, Mehul Damani, Jonas Hübotter, Pulkit Agrawal의 논문 Self-Distillation Enables Continual Learning에 설명되어 있습니다.
기존 역량을 저하시키지 않으면서 새로운 기술과 지식을 습득할 수 있도록 하는 지속 학습(Continual learning)은 여전히 foundation model의 근본적인 과제입니다. on-policy 강화 학습은 망각을 줄일 수 있지만, 종종 사용할 수 없는 명시적인 보상 함수가 필요합니다. 전문가 데모스트레이션(demonstration)을 통한 학습은 주요 대안이지만, 본질적으로 off-policy인 supervised fine-tuning(SFT)이 주를 이룹니다. 우리는 데모스트레이션에서 직접 on-policy 학습을 가능하게 하는 간단한 방법인 Self-Distillation Fine-Tuning(SDFT)을 소개합니다. SDFT는 데모스트레이션 조건부 모델을 자신의 teacher로 활용하여 in-context learning을 활용하며, 새로운 기술을 습득하는 동시에 기존 역량을 보존하는 on-policy 학습 신호를 생성합니다. 기술 학습 및 지식 습득 작업 전반에서 SDFT는 SFT를 일관되게 능가하며, 새로운 작업의 정확도를 높이는 동시에 catastrophic forgetting을 현저히 줄였습니다. 순차 학습 실험에서 SDFT는 성능 퇴화 없이 단일 모델이 시간에 따라 여러 기술을 축적할 수 있게 하여, 데모스트레이션 기반 지속 학습을 위한 on-policy distillation의 실용적인 경로를 확립했습니다.
작동 방식
일반적인 감독 기반 미세 조정(supervised fine-tuning)은 데모 텍스트를 오프-폴리시(off-policy)로 학습하여 기존 기능을 덮어쓰는 경향이 있습니다. SDFT는 대신 온-폴리시(on-policy)로 학습합니다. 학생 모델이 일반 prompt로부터 생성한 토큰에 대해, 해당 prompt와 예시의 privileged_context를 함께 확인한 교사 모델(동일한 모델)이 다시 점수를 매기고, 데모 조건부 분포가 학생 모델로 증류됩니다. 교사와 학생은 동일한 네트워크이며 입력으로 보는 정보만 다르므로, 자기 증류(self-distillation) 루프가 형성됩니다.
교사 선택
teacher_model_kind는 모델의 어떤 사본이 teacher 역할을 수행하는지 선택합니다. "base"(기본값)은 초기 가중치를 고정된 참조로 동결하여 논문과 일치하게 하며, "live"는 현재 student를 재사용하여 지연이 없는 self-teacher를 구성합니다. "ema"는 지수 이동 평균을 유지하며, teacher_sync_steps 스텝마다 teacher_update_rate 비율로 다시 동기화합니다. PEFT 환경에서 "base"는 teacher forward 시 어댑터를 비활성화하여 base 가중치를 복원하는 방식으로 얻어지며, "ema"는 순수 LoRA 학습 시 두 번째 모델 사본 대신 전용 "teacher" 어댑터에 이동 평균을 유지합니다. 순수 LoRA가 아닌 PEFT 모델(예: modules_to_save 또는 bias)과 함께 "ema"를 사용하는 것은 student와 매개변수 매칭이 불가능한 별도의 EMA 사본을 생성할 수 없어 지원되지 않습니다.
기본적으로 student는 일반 프롬프트에서 생성합니다. generate_from_teacher=True를 설정하면 데모 조건부 프롬프트에서 샘플링하여 온-폴리시 충실도를 희생하고 더 높은 품질의 롤아웃을 얻습니다. 증류 목적함수는 distillation_mode(기본값은 "topk_logits"이며, "full_logits"와 "sampled_token" 대안이 있음), distillation_alpha, distillation_topk로 설정되며, num_loss_tokens_to_skip은 손실 계산에서 앞부분의 완성 토큰을 제외합니다. 학습은 텍스트 전용이며, 생성은 기본적으로 transformers를 통해 실행되거나, use_vllm=True인 경우 vLLM(colocate 또는 server 모드)을 통해 실행됩니다.
사용
from datasets import Dataset
from trl.experimental.sdft import SDFTConfig, SDFTTrainer
dataset = Dataset.from_dict(
{
"prompt": [[{"role": "user", "content": "Solve 2+2."}]],
"privileged_context": ["Example answer: 4."],
}
)
training_args = SDFTConfig(
output_dir="sdft-model",
distillation_alpha=0.5,
distillation_mode="topk_logits",
distillation_topk=5,
max_completion_length=64,
)
trainer = SDFTTrainer(
model="Qwen/Qwen2.5-1.5B-Instruct",
args=training_args,
train_dataset=dataset,
)
trainer.train()학생 프롬프트 대신 teacher-conditioned 프롬프트에서 생성하려면 generate_from_teacher=True를 설정하세요.
teacher 프롬프트가 어떻게 구성되는지 커스터마이즈하려면 experimental.sdft.SDFTConfig에 teacher_prompt_template을 설정하세요.
vLLM 서버에서 teacher 서빙
teacher_model_kind="live"를 사용하면 teacher는 현재 student이며, vLLM 서버가 이미 해당 가중치를 보유하고 있습니다(생성을 위해 각 단계에서 동기화됨). use_teacher_server=True를 설정하면 별도의 로컬 teacher forward를 실행하지 않고 동일한 서버에서 teacher log-probabilities를 계산하여, teacher를 학습 단계에서 완전히 제거할 수 있습니다:
training_args = SDFTConfig(
output_dir="sdft-model",
use_vllm=True,
vllm_mode="server",
teacher_model_kind="live",
use_teacher_server=True,
distillation_mode="sampled_token",
)교사 서버를 사용할 때:
use_vllm=True와vllm_mode="server"가 필요합니다teacher_model_kind은"live"여야 합니다(서버가 현재 student 가중치를 보유함)distillation_mode는"sampled_token"(실제 토큰에 대한 역 KL) 또는"topk_logits"여야 합니다. 서버는 teacher의 top-k log-probs를 반환하므로,topk_logits는 teacher의 top-k support에 대해 증류됩니다(로컬 목적 함수와 달리 student의 support를 사용할 수 없음)."live"teacher의 경우 두 support가 거의 일치합니다.full_logits는 사용할 수 없습니다.
기대되는 데이터셋 열
각 예제는 다음을 제공해야 합니다:
prompt: 학생에게 표시되는 프롬프트privileged_context: 데모, 힌트, 특권 피드백과 같이 교사만 가질 수 있는 추가 정보
트레이너의 프롬프트 처리는 표준 텍스트 프롬프트와 대화형 프롬프트를 모두 지원합니다.
콜백
Trainer는 디버깅, 관찰 가능성, 테스트에 유용한 소수의 콜백 훅을 출력합니다. 이러한 훅은 실험적 자기 증류 워크플로우에 대한 실용적인 통합 지점으로 의도되었습니다.
공유된 자기 증류 훅:
on_self_distillation_batch_prepared: self-distillation 배치 준비가 완료되면 발생합니다. importance-sampling clipping 입력이 사용 가능한 경우 페이로드에는prompt_ids,completion_ids,old_per_token_logps가 포함됩니다.on_generation_batch_built: 새로운 버퍼링된 생성 배치(batch)가 생성될 때 발생합니다. 페이로드에는generate_every와steps_per_generation가 포함됩니다.
SDFT 전용 훅:
on_generation_prompts_selected: SDFT가 on-policy 생성을 위한 프롬프트 소스를 선택할 때 발생합니다. 페이로드에는 선택된generation_prompts와 이에 해당하는generation_prompt_text가 포함됩니다.
예제 스크립트
examples/sdft_privileged_context/sdft_privileged_context.py를 사용하여 커맨드 라인에서 SDFT 학습을 시작할 수 있습니다. 이 스크립트는 Hub의 모든 causal LM, --dataset_path를 통한 사용자 정의 로컬 데이터셋, 그리고 표준 ModelConfig 플래그를 통한 PEFT/LoRA를 지원합니다.
python examples/sdft_privileged_context/sdft_privileged_context.py \
--model_name_or_path Qwen/Qwen3.5-0.8B \
--dataset_name your-org/your-dataset \
--output_dir outputs/sdft-qwen3.5-0.8b \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 16 \
--learning_rate 2e-5 \
--max_prompt_length 1024 \
--max_completion_length 512 \
--generate_from_teacher \
--teacher_model_kind ema \
--teacher_sync_steps 1 \
--teacher_update_rate 0.05 \
--eval_strategy steps \
--eval_steps 50 \
--report_to wandb원래 구현은 idanshen/Self-Distillation에서 사용할 수 있습니다.
SDFTConfig
클래스 trl.experimental.sdft.SDFTConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | None = Nonetrust_remote_code: bool = Falsedisable_dropout: bool = Truemax_prompt_length: int | None = 512num_generations: int = 8num_generations_eval: int | None = Nonemax_completion_length: int | None = 256ds3_gather_for_generation: bool = Trueshuffle_dataset: bool = Truegeneration_batch_size: int | None = Nonesteps_per_generation: int | None = Nonetemperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonegeneration_kwargs: dict[str, typing.Any] | None = Nonechat_template_kwargs: dict[str, typing.Any] | None = Nonerepetition_penalty: float = 1.0cache_implementation: str | None = Noneuse_vllm: bool = Falseuse_teacher_server: bool = Falsevllm_mode: str = 'colocate'vllm_model_impl: str = 'vllm'vllm_enable_sleep_mode: bool = Falsevllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_group_port: int = 51216vllm_server_timeout: float = 240.0vllm_tensor_parallel_size: int = 1vllm_gpu_memory_utilization: float = 0.3vllm_max_model_length: int | None = Nonenum_iterations: int = 1teacher_model_kind: str = 'base'teacher_update_rate: float = 0.05teacher_sync_steps: int = 1distillation_alpha: float = 0.5distillation_mode: typing.Literal['sampled_token', 'full_logits', 'topk_logits'] = 'topk_logits'distillation_topk: int | None = 100distillation_is_clip: float | None = 2.0distillation_add_tail: bool = Falsegenerate_from_teacher: bool = Falseteacher_prompt_template: str = '{prompt}\n\n{privileged_context}'num_loss_tokens_to_skip: int = 0 )
SDFT 손실을 제어하는 매개변수
- distillation_alpha (
float, 선택 사항, 기본값0.5) — SDFT top-k logit distillation에 사용되는 발산 보간 계수입니다. - distillation_mode (
Literal["sampled_token", "full_logits", "topk_logits"], 선택 사항, 기본값"topk_logits") — Distillation 목적 함수 모드입니다. SDFT의 기본값은 top-k logit distillation입니다. - distillation_topk (
int, 선택 사항, 기본값100) — 기본 SDFT top-k logit 목적 함수에 사용되는 상위 토큰의 개수입니다. - distillation_is_clip (
float, 선택 사항, 기본값2.0) — 자기 증류(self-distillation)에서 중요도 샘플링(importance sampling)에 사용되는 클리핑 계수입니다.None을 지정하면 클리핑이 비활성화됩니다. - distillation_add_tail (
bool, 선택 사항, 기본값False) — top-k가 아닌 확률 질량에 대한 tail 버킷을 추가할지 여부입니다. - num_loss_tokens_to_skip (
int, 선택 사항, 기본값0) — 디스틸레이션 손실 계산에서 제외할 초기 completion 토큰의 수.
teacher를 제어하는 매개변수
- teacher_model_kind (
str, 선택 사항, 기본값"base") — SDFT의 시맨틱 teacher 선택입니다.base는 초기 student를,live는 현재 student를,ema는 지수 평균 teacher를 사용합니다. - teacher_update_rate (
float, 선택 사항, 기본값0.05) —teacher_model_kind="ema"일 때 사용되는 EMA 업데이트 비율입니다.1.0으로 설정하면 업데이트가 하드 오버라이드로 줄어들어, teacher가 현재 student 가중치와 주기적으로 재동기화됩니다. - teacher_sync_steps (
int, 선택 사항, 기본값1) — 교사 업데이트 사이의 옵티마이저 스텝 수.
teacher-conditioned 생성을 제어하는 매개변수
- generate_from_teacher (
bool, 선택 사항, 기본값False) — on-policy 생성 시 student 프롬프트 대신 teacher-conditioned 프롬프트를 사용할지 여부. - teacher_prompt_template (
str, 선택 사항, 기본값"{prompt}\n\n{privileged_context}") — 학생 프롬프트와 특권 컨텍스트를 결합하여 교사 프롬프트를 생성하는 데 사용되는 템플릿입니다.
모델을 제어하는 매개변수
- model_init_kwargs (
dict[str, Any], 선택 사항) —SDFTTrainer의model인수가 문자열로 제공될 때transformers.AutoModelForCausalLM.from_pretrained에 사용되는 키워드 인수입니다.revision값은 처리 클래스를 로드할 때에도 사용됩니다. - trust_remote_code (
bool, optional, defaults toFalse) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained, for both the student and teacher. - disable_dropout (
bool, 선택 사항, 기본값True) — student 및 teacher 모델에서 dropout을 비활성화할지 여부입니다.
데이터 전처리를 제어하는 매개변수
- remove_unused_columns (
bool, 선택 사항, 기본값False) — 데이터셋에서 trainer가 필요한 컬럼만 유지할지 여부입니다. trainer가 필요한 추가 컬럼(예:privileged_context)을 제공하는 경우 이 값을False로 유지하세요. - max_prompt_length (
int, 선택 사항, 기본값512) — 최대 프롬프트 길이입니다. 더 긴 프롬프트는 왼쪽에서 잘립니다. - shuffle_dataset (
bool, 선택 사항, 기본값True) — 학습 데이터셋을 섞을지 여부입니다.
생성을 제어하는 매개변수
- num_generations (
int, 선택 사항, 기본값8) — 샘플링할 세대 수입니다. 유효 배치 크기(num_processes per_device_batch_size gradient_accumulation_steps)는 이 값으로 나누어 떨어져야 합니다. - num_generations_eval (
int, 선택 사항) — 평가 중에 샘플링할 생성 횟수입니다. 이를 통해 평가 시 생성 횟수를 줄여 계산 비용을 절약할 수 있습니다.None인 경우num_generations의 값을 사용합니다. - max_completion_length (
int, 선택 사항, 기본값256) — 생성된 completion의 최대 길이입니다. - temperature (
float, 선택 사항, 기본값1.0) — 샘플링에 사용할 온도입니다. 온도가 높을수록 완성 결과가 더 무작위적으로 생성됩니다. - top_p (
float, 선택 사항, 기본값1.0) — 고려할 상위 토큰의 누적 확률을 제어하는 값입니다. (0, 1] 범위에 있어야 합니다. 모든 토큰을 고려하려면 1.0으로 설정하세요. - top_k (
int, 선택 사항, 기본값0) — top-k-filtering을 위해 유지할 가장 높은 확률의 어휘 토큰 수입니다.0인 경우 top-k-filtering이 비활성화되고 모든 토큰이 고려됩니다. - min_p (
float, 선택 사항) — 최소 토큰 확률입니다. 가장 가능성이 높은 토큰의 확률로 스케일링됩니다. 0.0과 1.0 사이의 값이어야 합니다. 일반적인 값은 0.01~0.2 범위입니다. - repetition_penalty (
float, 선택 사항, 기본값1.0) — 프롬프트와 지금까지 생성된 텍스트에 해당 토큰이 등장했는지에 따라 새로운 토큰에 페널티를 부과하는 값입니다. 1.0보다 큰 값은 모델이 새로운 토큰을 사용하도록 장려하고, 1.0보다 작은 값은 모델이 토큰을 반복하도록 장려합니다. - cache_implementation (
str, 선택 사항) — use_vllm이 False로 설정된 경우 더 빠른 생성을 위한 캐시 메서드 구현입니다. - generation_kwargs (
dict[str, Any], 선택 사항) — completions 샘플링 시GenerationConfig(transformers 사용 시) 또는SamplingParams(vLLM 사용 시)에 전달할 추가 키워드 인자입니다.suppress_tokens,num_beams등을 설정하여 생성 동작을 더 자세히 커스터마이징하는 데 사용할 수 있습니다. 다른 생성 파라미터(min_p,top_p등)와 충돌하는 키가 포함된 경우, 해당 키가 우선 적용됩니다. - chat_template_kwargs (
dict[str, Any], 선택) — 완성 결과를 생성할 때apply_chat_template함수에 전달할 추가 키워드 인자입니다. - ds3_gather_for_generation (
bool, 선택 사항, 기본값True) — 이 설정은 DeepSpeed ZeRO-3에 적용됩니다. 활성화하면 정책 모델 가중치가 생성을 위해 수집되어 생성 속도가 향상됩니다. 그러나 이 옵션을 비활성화하면 단일 GPU의 VRAM 용량을 초과하는 모델을 학습할 수 있지만, 생성 속도가 느려집니다. 이 옵션을 비활성화하면 vLLM 생성과 호환되지 않습니다.
vLLM 기반 생성 가속을 제어하는 매개변수
- use_vllm (
bool, 선택 사항, 기본값False) — 완성 결과를 생성하는 데 vLLM을 사용할지 여부입니다.True로 설정하면 트레이너는 기본인 model.generate() 대신 vLLM을 사용하여 생성을 수행합니다.vllm이 설치되어 있어야 합니다. - use_teacher_server (
bool, 선택 사항, 기본값False) — 로컬 teacher forward 대신 실행 중인 vLLM generation server에서 teacher logprobs를 계산합니다.teacher_model_kind='live'와use_vllm=True,vllm_mode='server'조합에서만 지원되며,distillation_mode가 {‘sampled_token’, ‘topk_logits’} 중 하나여야 합니다. (server는 전체 어휘가 아닌 teacher의 top-k logprobs를 반환합니다.topk_logits는 teacher 자체의 top-k support에 대해 증류합니다.) - vllm_mode (
str, 선택 사항, 기본값"colocate") —use_vllm이True로 설정된 경우 vLLM 통합에 사용할 모드입니다.'server'또는'colocate'중 하나여야 합니다.'server': 트레이너가 생성 요청을 별도의 vLLM 서버로 전송합니다. vLLM 서버가 실행 중인지 확인하세요(vllm serve로 시작).'colocate': vLLM이 동일한 프로세스에서 실행되고 학습 GPU를 공유합니다. 별도의 서버가 필요 없지만 학습과 리소스 경쟁이 발생할 수 있습니다. - vllm_model_impl (
str, 선택 사항, 기본값"vllm") — vLLM에 사용할 모델 구현입니다.transformers또는vllm중 하나여야 합니다.transformers: 모델 구현에transformers백엔드를 사용합니다.vllm: 모델 구현에vllm라이브러리를 사용합니다. - vllm_enable_sleep_mode (
bool, 선택 사항, 기본값False) — 옵티마이저 단계에서 가중치/캐시를 오프로드하기 위해 vLLM sleep mode를 활성화합니다. GPU 메모리 사용량을 낮게 유지하지만, 엔진을 깨울 때 호스트-디바이스 전송 지연이 발생합니다. - vllm_server_base_url (
str, 선택 사항) — vLLM 서버의 기본 URL(예: ‘http://localhost:8000’). 지정된 경우vllm_server_host및vllm_server_port는 무시됩니다. - vllm_server_host (
str, 선택 사항, 기본값"0.0.0.0") — 연결할 vLLM 서버의 호스트입니다. vllm_server_base_url이 제공된 경우 무시됩니다. - vllm_server_port (
int, 선택 사항, 기본값8000) — 연결할 vLLM 서버의 포트입니다. vllm_server_base_url이 제공된 경우 무시됩니다. - vllm_group_port (
int, 선택 사항, 기본값51216) — 가중치 업데이트 그룹에 사용할 포트 번호입니다. vLLM 서버와 통신하는 데 사용됩니다. 포트가 사용 중이 아니라면 변경할 필요가 없습니다. - vllm_server_timeout (
float, 선택 사항, 기본값240.0) — vLLM 서버가 실행될 때까지 대기할 총 시간(초). 시간 초과 후에도 서버가 실행되지 않으면ConnectionError가 발생합니다. - vllm_tensor_parallel_size (
int, 선택 사항, 기본값1) — vLLM의 tensor parallel size를 제어합니다. 이 설정은vllm_mode가'colocate'로 설정된 경우에만 적용됩니다.vllm_mode='server'를 사용하는 경우,--vllm_tensor_parallel_size플래그를 통해 vLLM 서버를 시작할 때 이 매개변수를 별도로 전달해야 합니다. - vllm_gpu_memory_utilization (
float, 선택 사항, 기본값0.3) — vLLM의 GPU 메모리 사용률을 제어합니다. 이 설정은vllm_mode가'colocate'로 설정된 경우에만 적용됩니다.vllm_mode='server'를 사용하는 경우,--vllm_gpu_memory_utilization플래그를 통해 vLLM 서버를 시작할 때 이 매개변수를 별도로 전달해야 합니다. - vllm_max_model_length (
int, 선택 사항) — vLLM의 컨텍스트 윈도우입니다. 데이터셋의 최대 프롬프트 길이보다max_completion_length를 더한 값 이상으로 설정해야 하며, 생략하면 모델 구성에서 추론됩니다.
학습을 제어하는 매개변수
- num_iterations (
int, 선택 사항, 기본값1) — 배치당 반복 횟수(알고리즘에서 μ로 표기됨). - generation_batch_size (
int, 선택 사항) — 생성에 사용할 배치 크기입니다.None인 경우, 실제 학습 배치 크기인per_device_train_batch_size * num_processes * steps_per_generation값이 기본값으로 사용됩니다. - steps_per_generation (
int, 선택 사항) — 생성당히 스텝 수입니다.None인 경우 기본값은gradient_accumulation_steps입니다.
experimental.sdft.SDFTTrainer의 구성 클래스입니다.
SDFTTrainer
클래스 trl.experimental.sdft.SDFTTrainer
< source >( model: typing.Union[str, transformers.modeling_utils.PreTrainedModel, torch.nn.Module]args: trl.experimental.sdft.sdft_config.SDFTConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)peft_config: PeftConfig | None = None )
명시적인 teacher 프롬프트를 사용하는 SDFT 스타일의 on-policy 자기 증류용 Trainer
train
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
매개변수
- resume_from_checkpoint (
str또는bool, 선택 사항) —str인 경우, 이전Trainer인스턴스가 저장한 체크포인트의 로컬 경로입니다.bool이고True와 같으면, 이전Trainer인스턴스가 args.output_dir에 저장한 마지막 체크포인트를 로드합니다. 이 값이 지정되어 있으면, 여기서 로드된 모델/옵티마이저/스케줄러 상태로부터 학습이 재개됩니다. - trial (
optuna.Trial또는dict[str, Any], 선택 사항) — 하이퍼파라미터 탐색을 위한 트라이얼 실행 또는 하이퍼파라미터 사전입니다. - ignore_keys_for_eval (
list[str], 선택 사항) — 모델의 출력(사전에 해당하는 경우)에서 학습 중 평가 예측을 수집할 때 무시해야 할 키의 목록입니다.
반환값
~trainer_utils.TrainOutput
전체 스텝 수, 학습 손실, 메트릭을 포함하는 객체.
주요 학습 진입점.
모델을 저장하므로 from_pretrained()를 사용하여 다시 로드할 수 있습니다.
main 프로세스에서만 저장합니다.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
매개변수
- commit_message (
str, 선택 사항, 기본값"End of training") — 푸시할 때 커밋할 메시지입니다. - blocking (
bool, 선택 사항, 기본값True) —git push가 완료된 후에만 함수가 반환되어야 하는지 여부. - token (
str, 선택 사항, 기본값None) — Trainer의 원래 args를 덮어쓸 수 있는 쓰기 권한이 있는 토큰. - revision (
str, 선택 사항) — 커밋할 git revision입니다. 기본값은 “main” 브랜치의 head입니다. - private (
bool, 선택 사항) — 리포지토리가 생성될 때 비공개로 만들지 여부입니다. 기본값은args.hub_private_repo입니다. 리포지토리가 이미 존재하는 경우 효과가 없습니다. - kwargs (
dict[str, Any], 선택) —~Trainer.create_model_card에 함께 전달되는 추가 키워드 인자입니다.
self.args.hub_model_id 저장소에 self.model과 self.processing_class를 🤗 모델 허브에 업로드합니다.