TRL - Transformers Pekiştirmeli Öğrenme

TRL, Denetimli İnce Ayar (SFT), Grup Göreceli Politika Optimizasyonu (GRPO), Doğrudan Tercih Optimizasyonu (DPO), Ödül Modelleme gibi yöntemlerle dönüştürücü dil modelleri eğitmek için bir dizi araç sağladığımız tam yığın bir kütüphanedir. Kütüphane, 🤗 transformers ile entegre edilmiştir.

🎉 Yeni Neler Var

⚡ AsyncGRPOTrainer artık kararlı: AsyncGRPOTrainer kararlı API'ye yükseltildi. Üretimi eğitimden ayırarak GRPO'yu çok daha hızlı çalıştırır: bir vLLM sunucusu rollouts'ları akış halinde gönderirken eğitimci modeli günceller.

Taksonomi

Aşağıda, olgunluk ve yöntem türüne göre düzenlenmiş TRL eğitimcilerinin bir özeti yer almaktadır.

Çevrimiçi yöntemler

Ödül modelleme

RewardTrainer

Çevrimdışı yöntemler

Bilgi damıtma

DistillationTrainer

Deneysel

Çevrimiçi yöntemler

Çevrimdışı yöntemler

Bilgi damıtma

TRL ile ilgili modelleri, veri setlerini ve demoları TRL Hugging Face kuruluşunda da keşfedebilirsiniz.

Öğren

🤗 smol course ile TRL ve diğer kütüphanelerle eğitim sonrası öğrenin.

İçindekiler

Belgeler aşağıdaki bölümlere ayrılmıştır:

Yeniden Başlangıç: kurulum ve hızlı başlangıç kılavuzu.
Kavramsal Kılavuzlar: veri seti biçimleri, eğitim SSS ve günlükleri anlama.
Nasıl Yapılır Kılavuzları: bellek kullanımını azaltma, eğitimi hızlandırma, eğitimi dağıtma vb.
Entegrasyonlar: DeepSpeed, PEFT vb.
Örnekler: örnek genel bakış, topluluk eğitimleri vb.
API: eğitimciler, yardımcı programlar vb.