Transformers documentation
TRL
TRL
TRL — это фреймворк для постобучения базовых моделей. Он включает методы, такие как SFT, GRPO и DPO. Для каждого метода предусмотрен отдельный тренер, основанный на классе Trainer, который масштабируется от одного GPU до кластеров с несколькими узлами.
from datasets import load_dataset
from trl import GRPOTrainer
from trl.rewards import accuracy_reward
dataset = load_dataset("trl-lib/DeepMath-103K", split="train")
trainer = GRPOTrainer(
model="Qwen/Qwen2-0.5B-Instruct",
reward_funcs=accuracy_reward,
train_dataset=dataset,
)
trainer.train()Интеграция с Transformers
TRL расширяет API Transformers и добавляет настройки, специфичные для каждого метода.
Тренеры TRL строятся на базе Trainer. Тренеры, специфичные для конкретных методов, такие как GRPOTrainer, добавляют генерацию, оценку вознаграждения и вычисление функции потерь. Классы конфигурации расширяют TrainingArguments полями, специфичными для метода.
Загрузка модели использует AutoConfig.from_pretrained(), а затем создаёт экземпляр класса модели из конфигурации с помощью метода
from_pretrainedэтого класса.
Ресурсы
- Документация TRL
- доклад Fine Tuning with TRL