TRL documentation
Démarrage rapide
Premiers pas
Guides conceptuels
Trainers
Guides pratiques
Interface en ligne de commande (CLI)Entraînement à l'aide de JobsPersonnalisation de l'entraînementRéduire l'utilisation de la mémoireAccélérer l'entraînementDistribuer l’entraînementEntraînement sur AWS TrainiumEntraînement sur des GPU AMDEntraînement au-delà de 1 M de jetonsUtilisation de modèles entraînés
Intégrations
Exemples
API
Expérimental
Démarrage rapide
TRL est une bibliothèque complète pour l’entraînement postérieur des modèles de base à l’aide de techniques telles que le Supervised Fine-Tuning (SFT), le Group Relative Policy Optimization (GRPO) et le Direct Preference Optimization (DPO).
Exemples rapides
Commencez immédiatement avec les formateurs les plus populaires de TRL. Chaque exemple utilise des modèles compacts pour une expérimentation rapide.
Affinage supervisé
from trl import SFTTrainer
from datasets import load_dataset
trainer = SFTTrainer(
model="Qwen/Qwen2.5-0.5B",
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Group Relative Policy Optimization
accuracy_reward nécessite math-verify, que vous pouvez installer avec pip install trl[math_verify].
from trl import GRPOTrainer
from datasets import load_dataset
from trl.rewards import accuracy_reward
trainer = GRPOTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=load_dataset("trl-lib/DeepMath-103K", split="train"),
reward_funcs=accuracy_reward,
)
trainer.train()Optimisation des préférences directes
from trl import DPOTrainer
from datasets import load_dataset
trainer = DPOTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=load_dataset("trl-lib/ultrafeedback_binarized", split="train"),
)
trainer.train()Modélisation de la récompense
from trl import RewardTrainer
from datasets import load_dataset
dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
trainer = RewardTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=dataset,
)
trainer.train()Interface en ligne de commande
Passez directement au code - entraînez directement depuis votre terminal :
# SFT: Fine-tune on instructions
trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \
--dataset_name trl-lib/Capybara
# DPO: Align with preferences
trl dpo --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--dataset_name trl-lib/ultrafeedback_binarized
# Reward: Train a reward model
trl reward --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--dataset_name trl-lib/ultrafeedback_binarizedEt maintenant ?
📚 En savoir plus
- Formateur SFT - Guide complet du SFT
- DPO Trainer - Alignement des préférences
- GRPO Trainer - Optimisation relative de politique par groupe
🚀 Passer à l'échelle
- Entraînement distribué - Configurations multi-GPU
- Optimisation de la mémoire - Entraînement efficace
- Intégration PEFT - LoRA et QLoRA
💡 Exemples
- Scripts d'exemple - Code prêt pour la production
- Tutoriels de la communauté - Guides externes
Dépannage
Mémoire insuffisante ?
Réduire la taille du lot et activer les optimisations :
SFT
DPO
GRPO
training_args = SFTConfig(
per_device_train_batch_size=1, # Start small
gradient_accumulation_steps=8, # Maintain effective batch size
)training_args = DPOConfig(
per_device_train_batch_size=1, # Start small
gradient_accumulation_steps=8, # Maintain effective batch size
)training_args = GRPOConfig(
per_device_train_batch_size=1, # Start small
gradient_accumulation_steps=8, # Maintain effective batch size
num_generations=4, # Reduce from default 8 (GRPO generates num_generations completions per prompt)
max_completion_length=512, # Tune based on task; longer sequences cost more memory
)La perte ne diminue-t-elle pas ?
Essayez d'ajuster le taux d'apprentissage :
training_args = SFTConfig(learning_rate=2e-5) # Good starting pointPour obtenir plus d'aide, ouvrez un issue sur GitHub.
Update on GitHub