TRL documentation
Online DPO Eğiticisi
Online DPO Eğiticisi
Genel Bakış
Online DPO, Shangmin Guo, Biao Zhang, Tianlin Liu, Tianqi Liu, Misha Khalman, Felipe Llinares, Alexandre Rame, Thomas Mesnard, Yao Zhao, Bilal Piot, Johan Ferret ve Mathieu Blondel tarafından Direct Language Model Alignment from Online AI Feedback makalesinde önerilmiştir.
Makalenin özeti aşağıdaki gibidir:
Tercihlerden doğrudan hizalama (DAP) yöntemleri, örneğin DPO, son zamanlarda ayrı bir ödül modeli gerektirmeyen, insan geri bildiriminden pekiştirmeli öğrenme (RLHF) için verimli alternatifler olarak ortaya çıkmıştır. Ancak DAP yöntemlerinde kullanılan tercih veri setleri genellikle eğitimden önce toplanır ve asla güncellenmez; bu nedenle geri bildirim tamamen çevrimdışıdır. Ayrıca bu veri setlerindeki yanıtlar, hizalanan modelden farklı bir dil modelinden örneklenmiş olma eğilimindedir ve model eğitim sırasında evrildiğinden, hizalama aşaması kaçınılmaz olarak politika dışı (off-policy) kalır. Bu çalışmada, çevrimiçi geri bildirimin anahtar olduğunu ve DAP yöntemlerini iyileştirdiğini öne sürüyoruz. Yöntemimiz olan çevrimiçi yapay zekâ geri bildirimi (OAIF), bir LLM'i işaretleyici olarak kullanır: her eğitim yinelemesinde, mevcut modelden iki yanıt örnekler ve LLM işaretleyicisine hangisinin tercih edildiğini seçmesini ister, böylece çevrimiçi geri bildirim sağlar. Sadece basitliğine rağmen, çeşitli görevlerde insan değerlendirmesi yoluyla OAIF'in hem çevrimdışı DAP hem de RLHF yöntemlerinden daha iyi performans gösterdiğini gösteriyoruz. Ayrıca OAIF'te kullanılan geri bildirimin, LLM işaretleyicisine verilen talimat istemcileri aracılığıyla kolayca kontrol edilebilir olduğunu da gösteriyoruz.
Bu eğitim sonrası yöntemi Michael Noukhovitch, Shengyi Costa Huang, Quentin Gallouédec ve Edward Beeching tarafından katkı sağlanmıştır.
Hızlı başlangıç
Bu örnek, çevrimiçi DPO yöntemiyle bir modelin nasıl eğitileceğini göstermektedir. Temel model olarak Qwen 0.5B modelini, ödül modeli olarak ise trl-lib/Qwen2-0.5B-Reward ödül modelini kullanıyoruz. İfadeleri UltraFeedback veri setinden alıyoruz. Veri setindeki ifadeleri buradan görüntüleyebilirsiniz:
Aşağıda modeli eğitmek için betik yer almaktadır:
# train_online_dpo.py
from datasets import load_dataset
from trl.experimental.online_dpo import OnlineDPOConfig, OnlineDPOTrainer
from transformers import AutoModelForCausalLM, AutoModelForSequenceClassification, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
reward_model = AutoModelForSequenceClassification.from_pretrained("trl-lib/Qwen2-0.5B-Reward", num_labels=1)
train_dataset = load_dataset("trl-lib/ultrafeedback-prompt", split="train")
training_args = OnlineDPOConfig(output_dir="Qwen2-0.5B-OnlineDPO")
trainer = OnlineDPOTrainer(
model=model, reward_funcs=reward_model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset
)
trainer.train()Aşağıdaki komutu kullanarak betiği çalıştırın:
torchrun --nproc_per_node 8 train_online_dpo.py
8 GPU arasında dağıtılmış eğitim yaklaşık 1 saat sürer. Eğitim ilerlemesini ödül grafiğini kontrol ederek doğrulayabilirsiniz. Reddedilen ve seçilen tamamlamalar için ödülde artan bir eğilim, modelin zamanla iyileştiğini ve daha iyi yanıtlar ürettiğini gösterir.

Eğitilen modelin performansını görmek için Transformers Chat CLI'yi kullanabilirsiniz.
$ transformers chat trl-lib/Qwen2-0.5B-OnlineDPO
<quentin_gallouedec>:
What is the best programming language?
<trl-lib/Qwen2-0.5B-OnlineDPO>:
The best programming language depends on your specific needs and priorities. Some people prefer imperative programming languages (like Haskell or Lisp), while others prefer functional programming languages (like Scala or Python). It's important to consider your work style, programming environment, and project requirements when choosing a programming language.
Beklenen veri seti türü
Online DPO yalnızca bir sadece istemci veri seti gerektirir (çevrimdışı DPO'nun tercih veri seti beklemesinin aksine). experimental.online_dpo.OnlineDPOTrainer, hem sohbet hem de standart veri seti biçimlerini destekler. Sohbet veri seti sağlandığında, eğitimci veri setine sohbet şablonunu otomatik olarak uygular.
Kullanım ipuçları
EOS token üretimini teşvik edin
Bir ödül modeli kullanırken, modelin belirli bir uzunluk içinde tamamlamalar üretmesini isteyebiliriz. Eğitim sırasında model, experimental.online_dpo.OnlineDPOConfig'in max_new_tokens argümanında belirtilen maksimum uzunluğa kadar tamamlamalar üretir. Modelin maksimum uzunluğa ulaşmadan önce bir EOS token'ı üretmemesini cezalandırmak istiyorsanız, experimental.online_dpo.OnlineDPOConfig'in missing_eos_penalty argümanını kullanabilirsiniz:
training_args = OnlineDPOConfig(..., max_new_tokens=128, missing_eos_penalty=1.0)Tamamlamaları Kaydetme
Eğitim sırasında modelinizin davranışını daha iyi anlamak için LogCompletionsCallback kullanarak örnek tamamlamaları periyodik olarak kaydedebilirsiniz.
trainer = OnlineDPOTrainer(..., eval_dataset=eval_dataset)
completions_callback = LogCompletionsCallback(trainer, num_prompts=8)
trainer.add_callback(completions_callback)Bu geri çağırma, modelin ürettiği tamamlamaları doğrudan Weights & Biases'e kaydeder.

Kaydedilen metrikler
Eğitim ve değerlendirme sırasında aşağıdaki metrikleri kaydederiz. İşte Weights and Biases'te izlenen bir çalışmanın örneği
objective/kl: Güncel model ile referans model arasındaki ortalama Kullback-Leibler (KL) ayrılığı.objective/entropy: Modelin ortalama entropisi, modelin seçtiği eylemlerin rastgeleliğini gösterir.objective/non_score_reward: Skorla ilgili olmayan kaynaklardan gelen ortalama ödül, temeldebeta * kl.sum(1)ifadesidir; buradabetaKL ceza katsayısı,klise token başına KL ayrılığıdır.objective/rlhf_reward:scores - non_score_rewardifadesinin ortalaması olan ortalama RLHF ödülü.rlhf_reward, çevrim içi DPO eğitiminin nihai hedefidir. Eğitim beklenildiği gibi çalışıyorsa, bu metrik sürekli artmalıdır.objective/scores: Ödül modelinin döndürdüğü ortalama puanlar.objective/scores_margin: Seçilen ve reddedilen tamamlamalar arasındaki ortalama puan marjı (dış ödül modeline göre).rewards/chosen: Seçilen tamamlamaların ortalama ödülü (çevrimiçi DPO'nun örtük ödül modeline göre).rewards/rejected: Reddedilen tamamlamaların ortalama ödülü (çevrimiçi DPO'nun örtük ödül modeline göre).rewards/accuracies: Çevrimiçi DPO'nun örtük ödül modelinin doğrulukları.rewards/margins: Seçilen ve reddedilen tamamlamalar arasındaki ortalama ödül marjı (çevrimiçi DPO'nun örtük ödül modeline göre).logps/chosen: Seçilen tamamlamaların ortalama log olasılıkları.logps/rejected: Reddedilen tamamlamaların ortalama log olasılıkları.val/contain_eos_token: Tamamlamaların EOS token içeren oranı.beta: Referans modelden sapmayı temsil eden kayıp teriminin ağırlığını kontrol eden parametre. Genellikle sabittir ancak experimental.online_dpo.OnlineDPOConfig'e bir liste geçirilerek dinamik hale getirilebilir.
Benchmark deneyleri
Çevrimiçi DPO uygulamasının çalıştığını doğrulamak için, 8 x H100'lu tek bir düğümde Pythia 1B, 2.8B ve 6.9B modelleriyle deneyler gerçekleştirdik. Deneyleri çalıştırmak için kullandığımız komutlar aşağıdadır; bu komutlar, o dönemde mevcut olan çevrimiçi DPO örnek betiğini (examples/scripts/online_dpo.py, daha sonra kaldırıldı) kullanır — bunları yeniden üretmek için v1.10.0 sürümünden bir kopya alın (git checkout v1.10.0). SFT / RM modellerini doğrudan The N+ Implementation Details of RLHF with PPO: A Case Study on TL;DR Summarization makalesinden alıyoruz.
# 1B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/multi_gpu.yaml \
examples/scripts/online_dpo.py \
--model_name_or_path trl-lib/pythia-1b-deduped-tldr-sft \
--reward_model_path trl-lib/pythia-1b-deduped-tldr-rm \
--dataset_name trl-lib/tldr \
--learning_rate 5.0e-7 \
--output_dir pythia-1b-deduped-tldr-online-dpo \
--beta 0.1 \
--per_device_train_batch_size 8 \
--gradient_accumulation_steps 2 \
--num_train_epochs 3 \
--max_new_tokens 53 \
--warmup_steps 0.1 \
--missing_eos_penalty 1.0 \
--save_steps 0.1 \
--push_to_hub
# 2.8B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/deepspeed_zero2.yaml \
examples/scripts/online_dpo.py \
--model_name_or_path trl-lib/pythia-2.8b-deduped-tldr-sft \
--reward_model_path trl-lib/pythia-2.8b-deduped-tldr-rm \
--dataset_name trl-lib/tldr \
--learning_rate 5.0e-7 \
--output_dir pythia-2.8b-deduped-tldr-online-dpo \
--beta 0.1 \
--per_device_train_batch_size 8 \
--gradient_accumulation_steps 2 \
--num_train_epochs 3 \
--max_new_tokens 53 \
--warmup_steps 0.1 \
--missing_eos_penalty 1.0 \
--save_steps 0.1 \
--push_to_hub
# 6.9B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/deepspeed_zero2.yaml \
examples/scripts/online_dpo.py \
--model_name_or_path trl-lib/pythia-6.9b-deduped-tldr-sft \
--reward_model_path trl-lib/pythia-6.9b-deduped-tldr-rm \
--dataset_name trl-lib/tldr \
--learning_rate 5.0e-7 \
--output_dir pythia-6.9b-deduped-tldr-online-dpo \
--beta 0.1 \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 4 \
--num_train_epochs 3 \
--max_new_tokens 53 \
--warmup_steps 0.1 \
--missing_eos_penalty 1.0 \
--save_steps 0.1 \
--push_to_hubDeney bu 🐝 W&B raporunda takip edilmektedir.
Model boyutlarını büyüttükçe çevrimiçi DPO kontrol noktasının kazanma oranı giderek artıyor. Bu, çevrimiçi DPO uygulamasının beklenildiği gibi çalıştığının iyi bir göstergesidir.
OnlineDPOTrainer
sınıf trl.experimental.online_dpo.OnlineDPOTrainer
< source >( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str]ref_model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, NoneType] = Nonereward_funcs: str | transformers.modeling_utils.PreTrainedModel | collections.abc.Callable[..., list[float | None]] | list[str | transformers.modeling_utils.PreTrainedModel | collections.abc.Callable[..., list[float | None]]] | None = Noneargs: trl.experimental.online_dpo.online_dpo_config.OnlineDPOConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset, NoneType] = Noneeval_dataset: typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset, dict[str, typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset]], NoneType] = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonereward_processing_classes: transformers.tokenization_utils_base.PreTrainedTokenizerBase | list[transformers.tokenization_utils_base.PreTrainedTokenizerBase] | None = Nonepeft_config: PeftConfig | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = None )
Parametreler
- model (
str | nn.Module | PreTrainedModel) — Eğitilecek model. Aşağıdakilerden biri olabilir:- Bir dize, huggingface.co üzerindeki bir model deposunda barındırılan ön eğitilmiş bir modelin model kimliği veya save_pretrained kullanılarak kaydedilmiş model ağırlıklarını içeren bir dizin yolu, örneğin
'./my_model_directory/'. Model,args.model_init_kwargsiçindeki anahtar kelime argümanlarıyla from_pretrained kullanılarak yüklenir. - Bir PreTrainedModel nesnesi. Yalnızca nedensel dil modelleri desteklenir.
- Bir dize, huggingface.co üzerindeki bir model deposunda barındırılan ön eğitilmiş bir modelin model kimliği veya save_pretrained kullanılarak kaydedilmiş model ağırlıklarını içeren bir dizin yolu, örneğin
- ref_model (PreTrainedModel veya
torch.nn.ModuleveyaNone) — Eğitim için kullanılacak referans model. None belirtilirse, referans model modelden oluşturulur. - reward_funcs (
RewardFunc | list[RewardFunc]) — Ödülleri hesaplamak için kullanılacak ödül işlevleri. Ödülleri hesaplamak için tüm ödül işlevleri, istemler (prompts) ve tamamlamalar (completions) ile çağrılır ve ödüllerin toplamı alınır. Şu seçeneklerden biri olabilir:- Tek bir ödül fonksiyonu: Bir dize (modele giden yol), bir PreTrainedModel veya özel bir çağrılabilir fonksiyon olabilir.
- Ödül fonksiyonlarının listesi: Tümü uyumlu tiplerde olmalıdır.
- args (experimental.online_dpo.OnlineDPOConfig) — Eğitim için kullanılacak online DPO yapılandırma argümanları.
- data_collator (
DataCollator) — Eğitim için kullanılacak veri toplayıcı. None belirtilirse, çift dizilerden oluşan bir veri seti verildiğinde, dizileri batch içindeki dizilerin maksimum uzunluğuna kadar dolduran varsayılan veri toplayıcı (experimental.utils.DPODataCollatorWithPadding) kullanılacaktır. - train_dataset (Dataset veya IterableDataset) — Eğitim için kullanılacak veri seti.
- eval_dataset (Dataset, IterableDataset veya
dict[str, Dataset | IterableDataset]) — Değerlendirme için kullanılacak veri seti. - processing_class (PreTrainedTokenizerBase veya ProcessorMixin, isteğe bağlı) — Verileri işlemek için kullanılan işleme sınıfı. Sağlanırsa, model girdilerini otomatik olarak işlemek için kullanılır ve yarıda kalan bir eğitimi yeniden başlatmayı veya ince ayarlanmış modeli yeniden kullanmayı kolaylaştırmak amacıyla modelle birlikte kaydedilir.
- reward_processing_classes (PreTrainedTokenizerBase veya
list[PreTrainedTokenizerBase], isteğe bağlı) — reward_funcs içinde belirtilen ödül fonksiyonlarına karşılık gelen işleme sınıflarıreward_funcs. Şu seçeneklerden biri olabilir:- Tek bir işleme sınıfı:
reward_funcsyalnızca bir ödül fonksiyonu içerdiğinde kullanılır. - İşleme sınıfları listesi:
reward_funcsiçindeki ödül fonksiyonlarının sırası ve uzunluğuyla eşleşmelidir.
Noneolarak ayarlanırsa, her model tabanlı ödül fonksiyonu için tokenizer, from_pretrained kullanılarak otomatik olarak yüklenir. - Tek bir işleme sınıfı:
- peft_config (
PeftConfig, isteğe bağlı) — Modeli sarmak için kullanılan PEFT yapılandırması.Noneise model sarılmaz. - compute_metrics (
Callable[[EvalPrediction], dict], isteğe bağlı) — Metrikleri hesaplamak için kullanılacak işlev. BirEvalPredictionalmalı ve metrik değerlerini içeren bir sözlük döndürmelidir. - callbacks (
list[transformers.TrainerCallback]) — Eğitim için kullanılacak geri çağrılar. - optimizers (
tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — Eğitim için kullanılacak optimizör ve zamanlayıcı. - preprocess_logits_for_metrics (
Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — Metrikler hesaplanmadan önce logit'leri ön işlemek için kullanılacak işlev.
OnlineDPOTrainer'ı başlatın.
eğit
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
Parametreler
- resume_from_checkpoint (
strveyabool, isteğe bağlı) —strise, önceki birTrainerörneği tarafından kaydedilen bir kontrol noktasının yerel yolu.boolise veTruedeğerine eşitse, önceki birTrainerörneği tarafından args.output_dir içinde kaydedilen son kontrol noktasını yükler. Mevcutsa, eğitim burada yüklenen model/optimizör/zamanlayıcı durumlarından devam eder. - trial (
optuna.Trialveyadict[str, Any], isteğe bağlı) — Hiperparametre araması için deneme çalışması veya hiperparametre sözlüğü. - ignore_keys_for_eval (
list[str], isteğe bağlı) — Eğitim sırasında değerlendirme için tahminleri toplarken göz ardı edilmesi gereken, model çıktısındaki (bir sözlükse) anahtarların listesi.
Dönüş değeri
~trainer_utils.TrainOutput
Küresel adım sayısını, eğitim kaybını ve metrikleri içeren nesne.
Ana eğitim giriş noktası.
Modeli kaydeder, böylece from_pretrained() kullanarak yeniden yükleyebilirsiniz.
Yalnızca ana süreçten kaydedecektir.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Parametreler
- commit_message (
str, isteğe bağlı, varsayılan"End of training") — İterlerken gönderilecek mesaj. - blocking (
bool, isteğe bağlı, varsayılanTrue) — Fonksiyonun yalnızcagit pushişlemi tamamlandığında mı değer döndürmesi gerektiğini belirtir. - token (
str, isteğe bağlı, varsayılanNone) — Trainer'ın orijinal argümanlarını üzerine yazma iznine sahip jeton. - revision (
str, isteğe bağlı) — Commit'in alınacağı git revizyonu. Varsayılan olarak “main” dalının başıdır. - private (
bool, isteğe bağlı) — Depo oluşturulurken özel yapılıp yapılmayacağı. Varsayılan olarakargs.hub_private_repodeğerini alır. Depo zaten mevcutsa hiçbir etkisi yoktur. - kwargs (
dict[str, Any], isteğe bağlı) —~Trainer.create_model_cardile birlikte iletilen ek anahtar kelime argümanları.
self.model ve self.processing_class öğelerini self.args.hub_model_id deposundaki 🤗 model hub'ına yükleyin.
OnlineDPOConfig
sınıf trl.experimental.online_dpo.OnlineDPOConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-07lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1reward_model_path: str | None = Nonemax_new_tokens: int = 64max_length: int = 512temperature: float = 0.9top_p: float = 1.0top_k: int = 0min_p: float | None = Nonerepetition_penalty: float = 1.0generation_kwargs: dict | None = Nonecache_implementation: str | None = Nonemissing_eos_penalty: float | None = Nonebeta: list[float] = <factory>loss_type: str = 'sigmoid'disable_dropout: bool = Trueuse_vllm: bool = Falsevllm_model_impl: str = 'vllm'vllm_structured_outputs_regex: str | None = Nonevllm_gpu_memory_utilization: float | None = 0.55vllm_mode: str = 'colocate'vllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_server_timeout: float = 240.0vllm_group_port: int = 51216vllm_tensor_parallel_size: int = 1vllm_enable_sleep_mode: bool = Falseds3_gather_for_generation: bool = Truemodel_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falsereward_weights: list[float] | None = None )
Parametreler
- reward_model_path (
str, isteğe bağlı) — Ödül modeline giden yol. - max_new_tokens (
int, isteğe bağlı, varsayılan64) — Tamamlama başına üretilecek maksimum token sayısı. - max_length (
int, isteğe bağlı, varsayılan512) — Log olasılıkların hesaplanmasında kullanılan dizinin (istek + tamamlama) maksimum toplam uzunluğu. Dizi bu sınırı aşarsa, tamamlamanın olabildiğince korunması için en soldaki jetonlar kırpılır. Girdiler görsel içerdiğinde uygulanmaz, çünkü kırpma işlemi görsel jetonlarını düşürür. - temperature (
float, isteğe bağlı, varsayılan0.9) — Örnekleme için sıcaklık. Sıcaklık ne kadar yüksekse, tamamlamalar o kadar rastgele olur. - missing_eos_penalty (
float, isteğe bağlı) — Modelin bir EOS token'ı üretmemesi durumunda skora uygulanan ceza. Bu, maksimum uzunluktan (max_new_tokens) daha kısa tamamlamalar üretmeyi teşvik etmek için kullanışlıdır. Ceza pozitif bir değer olmalıdır. - beta (
floatveyalist[float], isteğe bağlı, varsayılan0.1) — Referans modelden sapmayı kontrol eden parametre. β değeri ne kadar yüksekse, referans modelden sapma o kadar azdır. IPO kaybı (loss_type="ipo") için β, makalede τ ile gösterilen düzenleme parametresidir. Ondalıklı sayılar listesi sağlanırsa, β her yeni epoch için seçilir ve kalan epoch'lar için son β değeri kullanılır. - loss_type (
str, isteğe bağlı, varsayılan olarak"sigmoid") — Kullanılacak kayıp türü. Olası değerler şunlardır: - disable_dropout (
bool, isteğe bağlı, varsayılanTrue) — Modelde ve referans modelde dropout'un devre dışı bırakılıp bırakılmayacağı.
Üretimi kontrol eden parametreler
- top_p (
float, isteğe bağlı, varsayılan1.0) — Dikkate alınacak üst tokenların kümülatif olasılığını kontrol edenfloat. (0, 1] aralığında olmalıdır. Tüm tokenları dikkate almak için1.0olarak ayarlayın. - top_k (
int, isteğe bağlı, varsayılan0) — Top-k filtreleme için en yüksek olasılığa sahip tutulacak sözlük belirteçlerinin sayısı.0ise top-k filtreleme devre dışı bırakılır ve tüm belirteçler dikkate alınır. - min_p (
float, isteğe bağlı) — En olası token'ın olasılığına göre ölçeklendirilen minimum token olasılığı.0.0ile1.0arasında bir değer olmalıdır. Tipik değerler0.01-0.2aralığındadır. - repetition_penalty (
float, isteğe bağlı, varsayılan1.0) — İstemde ve şu ana kadar üretilen metinde görünüp görünmediklerine göre yeni token'ları cezalandıran bir ondalık sayı.1.0'dan büyük değerler modelin yeni token'lar kullanmasını teşvik ederken,1.0'dan küçük değerler modelin token'ları tekrarlamasını teşvik eder. - cache_implementation (
str, isteğe bağlı) —use_vllmFalseolarak ayarlandığında daha hızlı üretim için önbellek yönteminin uygulaması. - generation_kwargs (
dict[str, Any], isteğe bağlı) — Tamamlamalar örneklenirken GenerationConfig (transformers kullanılıyorsa) veyaSamplingParams(vLLM kullanılıyorsa) iletilmesi için ek anahtar kelime argümanları. Bu,suppress_tokens,num_beamsgibi ayarları yapılandırarak üretim davranışını daha da özelleştirmek için kullanılabilir. Diğer üretim parametreleriyle (ör.min_p,top_pvb.) çakışan anahtarlar içeriyorsa, bunlar onları geçersiz kılar.
vLLM tarafından desteklenen üretim hızlandırmasını kontrol eden parametreler
- use_vllm (
bool, isteğe bağlı, varsayılanFalse) — Tamamlamaları üretmek için vLLM kullanılacak mı?Trueolarak ayarlanırsa, eğitimci üretim için varsayılan model.generate() yerine vLLM kullanır. Bunun içinvllmpaketinin yüklü olması gerekir. - vllm_model_impl (
str, isteğe bağlı, varsayılan"vllm") — vLLM için kullanılacak model uygulaması."transformers"veya"vllm"değerlerinden biri olmalıdır."transformers": Model uygulaması içintransformersarka ucunu kullanır."vllm": Model uygulaması içinvllmkütüphanesini kullanır. - vllm_mode (
str, isteğe bağlı, varsayılan olarak"colocate") — kullanıldığında vLLM entegrasyonu için kullanılacak moduse_vllmolarak ayarlanırsaTrue. aşağıdakilerden biri olmalıdır:"server"veya"colocate"."server": Eğitmen, üretim isteklerini ayrı bir vLLM sunucusuna gönderir. Bir vLLM sunucusunun çalıştığından emin olun (vllm serveile başlatın)."colocate": vLLM aynı süreçte çalışır ve eğitim GPU'larını paylaşır. Bu, ayrı bir sunucuya olan ihtiyacı ortadan kaldırır ancak eğitimle kaynak çakışmasına neden olabilir.
- vllm_structured_outputs_regex (
str, isteğe bağlı) — vLLM yapılandırılmış çıktıları için regex.None(varsayılan) ise yapılandırılmış çıktılar devre dışıdır.
vLLM sunucusunu kontrol eden parametreler (yalnızca `vllm_mode` `"server"` olduğunda kullanılır)
- vllm_server_base_url (
str, isteğe bağlı) — vLLM sunucusu için temel URL (ör."http://localhost:8000"). Verildiğindevllm_server_hostvevllm_server_portyok sayılır. - vllm_server_host (
str, isteğe bağlı, varsayılan"0.0.0.0") — Bağlanacak vLLM sunucusunun host adresi.vllm_server_base_urlsağlanırsa yok sayılır. - vllm_server_port (
int, isteğe bağlı, varsayılan8000) — Bağlanacak vLLM sunucusunun portu.vllm_server_base_urlsağlanırsa yok sayılır. - vllm_server_timeout (
float, isteğe bağlı, varsayılan240.0) — vLLM sunucusunun ayağa kalkması için beklenen toplam zaman aşımı süresi (saniye cinsinden). Sunucu zaman aşımı süresinin sonunda ayağa kalkmazsa birConnectionErroryükseltilir. - vllm_group_port (
int, isteğe bağlı, varsayılan51216) — Ağırlık güncelleme grubu için port numarası. Bu, vLLM sunucusuyla iletişim kurmak için kullanılır. Port meşgul değilse değiştirmeye gerek yoktur.
Colocate edilmiş vLLM çalıştırmayı kontrol eden parametreler (yalnızca `vllm_mode` `"colocate"` olduğunda kullanılır)
- vllm_gpu_memory_utilization (
float, isteğe bağlı, varsayılan0.55) — vLLM için GPU bellek kullanımını kontrol edin. Bu ayar yalnızcavllm_modedeğeri"colocate"olarak ayarlandığında geçerlidir.vllm_mode="server"kullanıyorsanız, bu parametrenin vLLM sunucusunu--vllm_gpu_memory_utilizationbayrağıyla başlatırken ayrı olarak geçirilmesi gerekir. - vllm_tensor_parallel_size (
int, isteğe bağlı, varsayılan1) — vLLM için tensor paralel boyutunu kontrol eder. Bu ayar yalnızcavllm_modedeğeri"colocate"olarak ayarlandığında geçerlidir.vllm_mode="server"kullanıyorsanız, bu parametrenin vLLM sunucusunu--vllm_tensor_parallel_sizebayrağıyla başlatırken ayrı olarak geçirilmesi gerekir. - vllm_enable_sleep_mode (
bool, isteğe bağlı, varsayılanFalse) — Optimizatör adımı sırasında ağırlıkları/önbelleği boşaltmak için vLLM uyku modunu etkinleştirir. GPU bellek kullanımını düşük tutar, ancak motorun uyanması ev sahibi–cihaz aktarma gecikmesi ekler.
Diğer parametreler
- ds3_gather_for_generation (
bool, isteğe bağlı, varsayılanTrue) — Bu ayar, DeepSpeed ZeRO-3 için geçerlidir. Etkinleştirilirse, üretim için politika modeli ağırlıkları toplanır ve üretim hızı artırılır. Ancak bu seçeneğin devre dışı bırakılması, tek bir GPU'nun VRAM kapasitesini aşan modellerin eğitimine olanak tanır; bunun bedeli ise daha yavaş bir üretime yol açmasıdır. Bu seçeneğin devre dışı bırakılması, vLLM üretimiyle uyumlu değildir. - model_init_kwargs (
dict[str, Any], isteğe bağlı) — Modelin bir dizgeden örneklenirkenAutoModelForCausalLM.from_pretrainedfonksiyonuna geçirilecek anahtar kelime argümanları.revisiondeğeri, ödül işleme sınıfları yüklenirken de kullanılır. - trust_remote_code (
bool, isteğe bağlı, varsayılanFalse) — Hub'dan özel Python kodu içeren modellerin yüklenmesine izin verilip verilmeyeceğini belirtir. from_pretrained fonksiyonuna iletilir. Ödül modeli ve ödül tokenizer'ı yüklemelerine de uygulanır. - reward_weights (
list[float], isteğe bağlı) — Birden fazla ödül fonksiyonunu birleştirmek için ağırlıklar. Ödül fonksiyonlarının sayısıyla eşleşmelidir.Noneise tüm ödül fonksiyonları eşit ağırlıklandırılır.
experimental.online_dpo.OnlineDPOTrainer için yapılandırma sınıfı.
Bu sınıf yalnızca Online DPO eğitimine özgü parametreleri içerir. Eğitim argümanlarının tam listesi için TrainingArguments belgelerine bakın. Bu sınıftaki varsayılan değerlerin TrainingArguments içindeki değerlerden farklı olabileceğini unutmayın.
HfArgumentParser kullanarak bu sınıfı, komut satırında belirtilebilen argparse argümanlarına dönüştürebiliriz.
Bu parametrenin TrainingArguments'ten farklı varsayılan değerleri vardır:
logging_steps: Varsayılan olarak500yerine10değerine ayarlanır.gradient_checkpointing: Varsayılan olarakFalseyerineTruedeğerini alır.bf16:fp16ayarlanmadıysa varsayılan olarakTrue,Falseyerine.learning_rate: Varsayılan olarak5e-5yerine5e-7olarak ayarlanır.remove_unused_columns: Varsayılan olarakTrueyerineFalsedeğerini alır.