KTO Eğiticisi

Genel Bakış

TRL, Kawin Ethayarajh, Winnie Xu, Niklas Muennighoff, Dan Jurafsky ve Douwe Kiela tarafından kaleme alınan KTO: Model Alignment as Prospect Theoretic Optimization makalesinde tanımlandığı üzere, dil modellerinin eğitimi için Kahneman-Tversky Optimization (KTO) Trainer'ı destekler.

Makalenin özeti aşağıdaki gibidir:

Kahneman & Tversky’nin beklenti teorisi, insanların rastgele değişkenleri önyargılı ancak iyi tanımlanmış bir biçimde algıladığını söyler; örneğin, insanlar meşhur bir şekilde kayıptan kaçınma eğilimindedir. İnsan geri bildirimine göre LLM’leri hizalamak için kullanılan hedeflerin, bu önyargıların çoğunu dolaylı olarak içerdiğini gösteriyoruz — bu hedeflerin (ör. DPO) çapraz entropi minimizasyonuna karşı başarısının bir kısmı, insan-farkında kayıp fonksiyonları (HALO) olmalarına atfedilebilir. Ancak bu yöntemlerin insanlara atfettiği fayda fonksiyonları, beklenti teorisi literatüründekilerden hâlâ farklıdır. İnsan faydası için bir Kahneman-Tversky modeli kullanarak, mevcut yöntemlerin aksine tercihlerin log-olabilirliğini değil, doğrudan üretilen çıktılarının faydasını maksimize eden bir HALO öneriyoruz. Bu yaklaşıma Kahneman-Tversky Optimizasyonu (KTO) adını veriyoruz ve 1B ile 30B ölçeklerinde tercih tabanlı yöntemlerin performansını eşitliyor veya aşabiliyor. Önemli olan, KTO’nun tercihlere ihtiyaç duymamasıdır — yalnızca belirli bir girdi için bir çıktının arzu edilir mi yoksa arzu edilmeyen mi olduğuna dair ikili bir sinyale ihtiyaç duyar. Bu da tercih verisinin kıt ve pahalı olduğu gerçek dünyada kullanımını çok daha kolay hale getirir.

Resmi kod ContextualAI/HALOs adresinde bulunabilir.

Bu eğitim sonrası yöntemi Kashif Rasul, Younes Belkada, Lewis Tunstall, Pablo Vicente tarafından katkıda bulunmuş ve daha sonra Albert Villanova del Moral tarafından yeniden yapılandırılmıştır.

Hızlı başlangıç

Bu örnek, KTO yöntemiyle bir modelin nasıl eğitileceğini göstermektedir. Temel model olarak Qwen 0.5B modelini kullanıyoruz. Tercih verisi olarak KTO Mix 14k'yi kullanıyoruz. Veri setindeki verilere buradan göz atabilirsiniz:

Aşağıda modeli eğitmek için betik yer almaktadır:

# train_kto.py
from datasets import load_dataset
from trl import KTOConfig, KTOTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
train_dataset = load_dataset("trl-lib/kto-mix-14k", split="train")

training_args = KTOConfig(output_dir="Qwen2-0.5B-KTO")
trainer = KTOTrainer(model=model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset)
trainer.train()

Aşağıdaki komutu kullanarak betiği çalıştırın:

torchrun --nproc_per_node 8 train_kto.py

8 x H100 GPU arasında dağıtılmış eğitim yaklaşık 30 dakika sürer. Eğitim ilerlemesini ödül grafiğini kontrol ederek doğrulayabilirsiniz. Ödül marjındaki artan eğilim, modelin zamanla iyileştiğini ve daha iyi yanıtlar ürettiğini gösterir.

Eğitilen modelin performansını görmek için Transformers Chat CLI'yi kullanabilirsiniz.

$ transformers chat trl-lib/Qwen2-0.5B-KTO
<quentin_gallouedec>:
What is the best programming language?

<trl-lib/Qwen2-0.5B-KTO>:
The best programming language can vary depending on individual preferences, industry-specific requirements, technical skills, and familiarity with the specific use case or task. Here are some widely-used programming languages that have been noted as popular and widely used:

Here are some other factors to consider when choosing a programming language for a project:

 1 JavaScript: JavaScript is at the heart of the web and can be used for building web applications, APIs, and interactive front-end applications like frameworks like React and Angular. It's similar to C, C++, and F# in syntax structure and is accessible and easy to learn, making it a popular choice for beginners and professionals alike.
 2 Java: Known for its object-oriented programming (OOP) and support for Java 8 and .NET, Java is used for developing enterprise-level software applications, high-performance games, as well as mobile apps, game development, and desktop applications.
 3 C++: Known for its flexibility and scalability, C++ offers comprehensive object-oriented programming and is a popular choice for high-performance computing and other technical fields. It's a powerful platform for building real-world applications and games at scale.
 4 Python: Developed by Guido van Rossum in 1991, Python is a high-level, interpreted, and dynamically typed language known for its simplicity, readability, and versatility.

Beklenen veri seti türü ve biçimi

KTO, eşleşmemiş tercih veri seti gerektirir. Alternatif olarak, eşleşmiş bir tercih veri seti (sadece tercih veri seti olarak da bilinir) sağlayabilirsiniz. Bu durumda, eğitimci, seçilen ve reddedilen yanıtları ayırarak, seçilen tamamlamalar için label = True ve reddedilenler için label = False atayarak veri setini otomatik olarak eşleşmemiş bir formata dönüştürür.

KTOTrainer, hem standart hem de sohbet veri seti biçimleriyle uyumludur. Sohbet veri seti sağlandığında, eğitimci veri setine sohbet şablonunu otomatik olarak uygular.

# Standard format
unpaired_preference_example = {"prompt": "The sky is", "completion": " blue.", "label": True}

# Conversational format
unpaired_preference_example = {"prompt": [{"role": "user", "content": "What color is the sky?"}],
                               "completion": [{"role": "assistant", "content": "It is blue."}],
                               "label": True}

Teoride, veri seti en az bir seçilen ve bir reddedilen tamamlama içermelidir. Ancak bazı kullanıcılar, sadece seçilen veya sadece reddedilen verilerle KTO'yu başarıyla çalıştırmıştır. Sadece reddedilen veriler kullanılıyorsa, muhafazakâr bir öğrenme oranı benimsemek önerilir.

KTO yönteminin derinlemesine incelenmesi

Kahneman-Tversky Optimizasyonu (KTO), bir girdi için bir çıktının arzu edilen mi yoksa arzu edilmeyen mi olduğunu gösteren ikili bir sinyal kullanarak dil modelini hizalamak için tasarlanmış bir eğitim yöntemidir; tercih edilen/tercih edilmeyen tamamlama çiftleri yerine bu sinyali kullanır. Kahneman ve Tversky'nin perspektif teorisinden ilham alarak, insan kayıp kaçınmasını yansıtmak üzere arzu edilen ve arzu edilmeyen örnekleri asimetrik olarak ağırlıklandırarak üretimlerin faydasını doğrudan maksimize eden bir insan-farkındalıklı kayıp (HALO) tanımlar.

Bu bölüm, KTO'nun pratikte nasıl çalıştığını, ana adımları olan ön işleme ve kayıp hesaplama adımlarını kapsayacak şekilde açıklar.

Önişleme ve belirteçleştirme

Eğitim sırasında, her örneğin bir istem (prompt), bir completion ve tamamlamanın arzu edilir (True) mi yoksa arzu edilmez (False) mi olduğunu gösteren bir label (boole) içermesi beklenir. Beklenen formatlar hakkında daha fazla ayrıntı için Dataset formats bölümüne bakın. KTOTrainer, her girdiyi modelin tokenizer'ı kullanarak işler.

Kaybın hesaplanması

KTO kaybı tarafından kullanılan KL ayrılığı terimi, her istem, batch'in başka bir yerinden çekilmiş eşleşmeyen bir tamamlama ile eşleştirilerek tahmin edilir. Bu nedenle, KL terimini tahmin eden kayıp türleri (apo_zero_unpaired hariç tümü), eşleşmeyen çiftlerin bir batch boyunca kararlı kalabilmesi için cihaz başına eğitim batch boyutunun 1'den büyük olmasını ve sıralı bir örneklemleme stratejisi gerektirir.

KTO'da kullanılan kayıp ( makalenin) 7. denklemi) şu şekilde tanımlanır: $$\mathcal{L}_{\mathrm{KTO}}(\theta) = \mathbb{E}_{(x,y)}\!\left[ w(y)\Big(1 - v(x, y)\Big) \right]$$

burada değeri $v(x, y)$ şudur $$v(x, y) = \begin{cases} \sigma\!\left(\beta\big(\log\frac{\pi_{\theta}(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)} - \mathrm{KL}\big)\right) & \text{if } y \text{ is desirable} \\ \sigma\!\left(\beta\big(\mathrm{KL} - \log\frac{\pi_{\theta}(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}\big)\right) & \text{if } y \text{ is undesirable} \end{cases}$$

Burada $x$ istemdir, $y$ tamamlamadır, $\pi_{\theta}$ eğitilen politika modelidir, $\pi_{\mathrm{ref}}$ referans modelidir, $\sigma$ sigmoid fonksiyonudur, $\beta > 0$ referans modelden sapmayı kontrol eder ve $\mathrm{KL}$ tahmini KL ayrılığı terimidir. Ağırlık $w(y)$ arzu edilen tamamlamalar için desirable_weight ve undesirable_weight arzu edilmeyenler için kullanılır; arzu edilen ve edilmeyen örneklerin sayısı arasındaki dengesizliği dengelemek için kullanılır.

Kayıp Türleri

Kaydedilen metrikler

Eğitim ve değerlendirme sırasında aşağıdaki metrikleri kaydederiz:

• global_step: Şu ana kadar atılan toplam optimizör adımı sayısı.
• epoch: Veri seti yinelemesine dayalı olarak geçerli epoch numarası.
• num_tokens: Şu ana kadar işlenen toplam token sayısı.
• loss: Güncel kayıt aralığındaki ortalama KTO kaybı.
• entropy: Modelin maskelenmemiş jetonlar üzerindeki tahmini jeton dağılımının ortalama entropisi.
• aux_loss: Bir Mixture-of-Experts modelinin, router_aux_loss_coef ile ölçeklenip kayba eklenmeden önceki yük dengeleme yardımcı kaybı. Sadece model bir MoE modeli olduğunda ve router_aux_loss_coef sıfır olmadığında kaydedilir.
• kl: KTO kaybında referans noktası olarak kullanılan, politika ve referans model arasındaki ortalama tahmini KL ayrılığı.
• learning_rate: Bir zamanlayıcı kullanılıyorsa dinamik olarak değişebilen mevcut öğrenme oranı.
• grad_norm: Gradyan kesme işleminden önce hesaplanan gradyanların L2 normu.
• logits/chosen: Modelin seçilen (arzu edilen) tamamlamadaki jetonlara atadığı ortalama logit değerleri.
• logits/rejected: Modelin reddedilen (istenmeyen) tamamlamadaki jetonlara atadığı ortalama logit değerleri.
• logps/chosen: Modelin seçilen (arzu edilen) tamamlamadaki jetonlara atadığı ortalama log-olasılık.
• logps/rejected: Modelin reddedilen (istenmeyen) tamamlamadaki jetonlara atadığı ortalama log-olasılık.
• rewards/chosen: seçilen (arzu edilen) tamamlama için hesaplanan ortalama örtük ödül, şu şekilde hesaplanır: $\beta \log \frac{\pi_{\theta}(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}$.
• rewards/rejected: reddedilen (istenmeyen) tamamlama için hesaplanan ortalama örtük ödül, şu şekilde hesaplanır: $\beta \log \frac{\pi_{\theta}(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}$.
• rewards/margins: Seçilen ve reddedilen tamamlamalar arasındaki ortalama örtük ödül marjı.

Özelleştirme

Uyumluluk ve kısıtlamalar

Mevcut KTOTrainer uygulamasında bazı argüman kombinasyonları bilinçli olarak kısıtlanmıştır:

• lm_head hedefli PEFT adaptörleri desteklenmez (bunun yerine modules_to_save=["lm_head"] kullanın).
• PEFT modelleriyle eğitim sırasında bağımsız bir ref_model tutmayan modellerde sync_ref_model=True desteklenmez.
• sync_ref_model=True, precompute_ref_log_probs=True ile birleştirilemez.
• precompute_ref_log_probs=True, IterableDataset (eğitim veya değerlendirme) veya görü veri setleriyle desteklenmez.
• KL sapma terimini tahmin eden kayıp türleri ("apo_zero_unpaired" hariç tümü) train_sampling_strategy="sequential" ve 1'den büyük bir cihaz başına eğitim partisi boyutu gerektirir.

Model başlatma

from_pretrained() yönteminin kwargs'larını doğrudan KTOConfig'e iletebilirsiniz. Örneğin, bir modeli farklı bir hassasiyette yüklemek istiyorsanız,

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct", dtype=torch.bfloat16)

Bunu, KTOConfig sınıfına model_init_kwargs={"dtype": torch.bfloat16} argümanını geçirerek yapabilirsiniz.

from trl import KTOConfig

training_args = KTOConfig(
    model_init_kwargs={"dtype": torch.bfloat16},
)

from_pretrained() işlevinin tüm anahtar kelime argümanlarının desteklendiğini unutmayın.

PEFT ile adaptörler eğitin

🤗 PEFT kütüphanesiyle sıkı entegrasyon destekliyoruz; bu sayede kullanıcılar, tüm modeli eğitmek yerine adaptörleri kolayca eğitebilir ve Hub üzerinde paylaşabilir.

from datasets import load_dataset
from trl import KTOTrainer
from peft import LoraConfig

dataset = load_dataset("trl-lib/kto-mix-14k", split="train")

trainer = KTOTrainer(
    "Qwen/Qwen2-0.5B-Instruct",
    train_dataset=dataset,
    peft_config=LoraConfig(),
)

trainer.train()

PeftModel eğitiminizi devam ettirebilirsiniz. Bunun için, önce KTOTrainer dışında bir PeftModel yükleyin ve peft_config argümanını geçirmeden doğrudan trainer'a iletin.

Adaptörler eğitilirken, yalnızca yeni parametrelerin öğrenildiği için tam ince ayara kıyasla genellikle daha yüksek bir öğrenme oranı kullanılır.

KTO ile Araç Çağrısı

KTOTrainer, tool calling yeteneklerine sahip modellerin ince ayarını tamamen destekler. Bu durumda, veri setindeki her örnek şunları içermelidir:

• Sohbet mesajları (istem ve tamamlama), herhangi bir araç çağrısı (tool_calls) ve araç yanıtları (tool rol mesajları) dahil
• tools sütunundaki kullanılabilir araçların listesi, genellikle JSON şemaları olarak sağlanır

Beklenen veri seti yapısına ilişkin ayrıntılar için Veri Seti Biçimi — Araç Çağrısı bölümüne bakın.

Görsel Dil Modellerinin Eğitimi

KTOTrainer, Görüntü-Dil Modelleri (VLM) eğitimini tam olarak destekler. Bir VLM eğitmek için, veri setinde her örnek için tek bir görüntü içeren bir image sütunu veya her örnek için bir görüntü listesi içeren bir images sütunu bulunmalıdır. Beklenen veri seti yapısı hakkında daha fazla bilgi için Veri Seti Biçimi — Görüntü Veri Seti bölümüne bakın.

from trl import KTOConfig, KTOTrainer
from datasets import load_dataset

trainer = KTOTrainer(
    model="Qwen/Qwen2.5-VL-3B-Instruct",
    args=KTOConfig(max_length=None),
    train_dataset=load_dataset("trl-internal-testing/zen-image", "conversational_unpaired_preference", split="train"),
)
trainer.train()

VLM'ler için kırpma işlemi, eğitim sırasında hatalara yol açabilecek görüntü belirteçlerini kaldırabilir. Bunu önlemek için KTOConfig içinde max_length=None değerini ayarlayın. Bu, modelin görüntü belirteçlerini kırpma işlemi olmadan tam dizi uzunluğunu işlemesine olanak tanır.

Kopyalandı

KTOConfig(max_length=None, ...)

Tüm veri setinde kırpmanın görüntü belirteçlerini kaldırmayacağını doğruladığınızda yalnızca max_length kullanın.

Örnek betik

KTO yöntemiyle bir model eğitmek için örnek bir betik sunuyoruz. Betik, trl/scripts/kto.py adresinde bulunabilir.

Qwen2 0.5B modeli ile UltraFeedback veri seti üzerinde KTO betiğini test etmek için aşağıdaki komutu çalıştırın:

torchrun --nproc_per_node 8 trl/scripts/kto.py \
    --model_name_or_path Qwen/Qwen2-0.5B-Instruct \
    --dataset_name trl-lib/kto-mix-14k \
    --num_train_epochs 1 \
    --output_dir Qwen2-0.5B-KTO

Kullanım ipuçları

Uzmanlar Karışımı (Mixture of Experts) Modelleri için: Yardımcı kaybı (auxiliary loss) etkinleştirme

MOE'ler, yük uzmanlar arasında yaklaşık olarak eşit dağıtıldığında en verimli şekilde çalışır.
Tercih ayarlaması sırasında MOE'lerin benzer şekilde eğitilmesini sağlamak için, yük dengeleyiciden gelen yardımcı kaybın nihai kayba eklenmesi faydalıdır.

Bu seçenek, model yapılandırmasında output_router_logits=True olarak ayarlanarak etkinleştirilir (ör. MixtralConfig).
Yardımcı kaybın toplam kayba ne kadar katkıda bulunacağını ölçeklemek için model yapılandırmasında router_aux_loss_coef=... hiperparametresini kullanın (varsayılan: 0.001).

Toplu işlem boyutu önerileri

En az 4 olan bir adım başına parti boyutu ve 16 ile 128 arasında bir etkili parti boyutu kullanın. Etkili parti boyutunuz büyük olsa bile, adım başına parti boyutunuz yetersizse KTO'daki KL tahmini de yetersiz olacaktır.

Öğrenme hızı önerileri

beta için her seçim, öğrenme performansının düşmeye başlamadan önce tolere edebileceği bir maksimum öğrenme hızına sahiptir. beta = 0.1 varsayılan ayarı için, çoğu modelde öğrenme hızının genellikle 1e-6 değerini aşmaması gerekir. beta azaldıkça, öğrenme hızının da buna göre düşürülmesi gerekir. Genel olarak, öğrenme hızının 5e-7 ile 5e-6 arasında tutulmasını güçlü bir şekilde öneririz. Küçük veri setlerinde bile, öğrenme hızının bu aralığın dışında kullanılmasını önermiyoruz. Bunun yerine, daha iyi sonuçlar elde etmek için daha fazla epoch (tekrar) kullanmayı tercih edin.

Dengelenmemiş veri

KTOConfig desirable_weight ve undesirable_weight parametrelerindeki KTOConfig değerleri, arzu edilen/olumlu ve arzu edilmeyen/olumsuz örneklerin kayıplarına verilen ağırlıkları ifade eder. Varsayılan olarak her ikisi de 1'dir. Ancak, birinin diğerinden daha fazla olması durumunda, daha az yaygın olan türün ağırlığını artırarak (desirable_weight $\times$ pozitif sayısı) ile (undesirable_weight $\times$ negatif sayısı) oranının 1:1 ile 4:3 aralığında olmasını sağlamalısınız.

KTOTrainer

>>> from trl import KTOTrainer
>>> from datasets import load_dataset

>>> dataset = load_dataset("trl-lib/kto-mix-14k", split="train")

>>> trainer = KTOTrainer(
...     model="Qwen/Qwen2.5-0.5B-Instruct",
...     train_dataset=dataset,
... )
>>> trainer.train()

KTOConfig