Transformers documentation

TRL

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

TRL

TRL — это фреймворк для постобучения базовых моделей. Он включает методы, такие как SFT, GRPO и DPO. Для каждого метода предусмотрен отдельный тренер, основанный на классе Trainer, который масштабируется от одного GPU до кластеров с несколькими узлами.

from datasets import load_dataset
from trl import GRPOTrainer
from trl.rewards import accuracy_reward

dataset = load_dataset("trl-lib/DeepMath-103K", split="train")

trainer = GRPOTrainer(
    model="Qwen/Qwen2-0.5B-Instruct",
    reward_funcs=accuracy_reward,
    train_dataset=dataset,
)
trainer.train()

Интеграция с Transformers

TRL расширяет API Transformers и добавляет настройки, специфичные для каждого метода.

  • Тренеры TRL строятся на базе Trainer. Тренеры, специфичные для конкретных методов, такие как GRPOTrainer, добавляют генерацию, оценку вознаграждения и вычисление функции потерь. Классы конфигурации расширяют TrainingArguments полями, специфичными для метода.

  • Загрузка модели использует AutoConfig.from_pretrained(), а затем создаёт экземпляр класса модели из конфигурации с помощью метода from_pretrained этого класса.

Ресурсы

Update on GitHub