# TRL

[TRL](https://huggingface.co/docs/trl/index) — это фреймворк для постобучения базовых моделей. Он включает методы, такие как SFT, GRPO и DPO. Для каждого метода предусмотрен отдельный тренер, основанный на классе [Trainer](/docs/transformers/v5.23.0/ru/main_classes/trainer#transformers.Trainer), который масштабируется от одного GPU до кластеров с несколькими узлами.

```py
from datasets import load_dataset
from trl import GRPOTrainer
from trl.rewards import accuracy_reward

dataset = load_dataset("trl-lib/DeepMath-103K", split="train")

trainer = GRPOTrainer(
    model="Qwen/Qwen2-0.5B-Instruct",
    reward_funcs=accuracy_reward,
    train_dataset=dataset,
)
trainer.train()
```

## Интеграция с Transformers

TRL расширяет API Transformers и добавляет настройки, специфичные для каждого метода.

- Тренеры TRL строятся на базе [Trainer](/docs/transformers/v5.23.0/ru/main_classes/trainer#transformers.Trainer). Тренеры, специфичные для конкретных методов, такие как [GRPOTrainer](https://huggingface.co/docs/trl/v1.17.1/en/grpo_trainer#trl.GRPOTrainer), добавляют генерацию, оценку вознаграждения и вычисление функции потерь. Классы конфигурации расширяют [TrainingArguments](/docs/transformers/v5.23.0/ru/main_classes/trainer#transformers.TrainingArguments) полями, специфичными для метода.

- Загрузка модели использует [AutoConfig.from_pretrained()](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoConfig.from_pretrained), после чего создаёт экземпляр класса модели из конфигурации с помощью метода `from_pretrained` этого класса.

## Ресурсы

- Документация [TRL](https://huggingface.co/docs/trl/index)
- доклад [Fine Tuning with TRL](https://huggingface.co/datasets/trl-lib/documentation-images/resolve/main/Fine%20tuning%20with%20TRL%20(Oct%2025).pdf)

