TRL documentation

Contoh

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Contoh

Direktori examples/ berisi kumpulan contoh mandiri yang menunjukkan cara menggunakan pustaka TRL untuk berbagai aplikasi. Setiap contoh berada di foldernya sendiri yang dinamai berdasarkan metode dan tugas yang ditunjukkan (misalnya grpo_wordle, sft_gpt_oss_chess), dan menyimpan semua yang dibutuhkan contoh tersebut: skrip, notebook, prompt, template chat, dan kode evaluasi.

Skrip pelatihan single-trainer dasar bukanlah contoh: mereka berada di trl/scripts dan dipaparkan melalui antarmuka baris perintah (trl sft, trl dpo, trl grpo, …). Halaman dokumentasi masing-masing trainer juga berisi potongan kode lengkap yang dapat dijalankan.

Sumber daya bersama berada di akar examples/:

  • examples/deepspeed_configs: file konfigurasi DeepSpeed ZeRO, yang diteruskan dengan --deepspeed, dan digunakan oleh banyak contoh.
  • examples/fsdp_configs: file konfigurasi FSDP, yang diteruskan dengan --fsdp --fsdp_config (hanya --fsdp di baris perintah membutuhkan transformers 5.10 atau lebih baru; pada versi yang lebih lama, atur fsdp=True di konfigurasi pelatihan).
  • examples/datasets: skrip yang digunakan untuk menghasilkan dataset trl-lib yang dipakai di seluruh contoh.

Mulai

Instal TRL dan dependensi tambahan sebagai berikut:

pip install --upgrade trl[quantization]

Periksa dependensi opsional tambahan di sini. Contoh berbasis notebook bersifat mandiri dan dapat dijalankan di Colab gratis; contoh berbasis skrip dijalankan pada setup single-GPU, multi-GPU, atau DeepSpeed (lihat Distributed Training di bawah).

Indeks

ContohDeskripsiBuka di Colab
async_distillation_mathDistilasi on-policy asinkron pada GSM8K dengan experimental.async_distillation.AsyncDistillationTrainer: guru disajikan melalui HTTP dengan vLLM.
async_distillation_mopdDistilasi on-policy multi-guru (MOPD) dengan experimental.async_distillation.AsyncDistillationTrainer: menggabungkan pakar matematika, kode, dan mengikuti instruksi dari Open-MOPD ke dalam checkpoint SFT mereka: 17,5 menjadi 24,2 pada AIME24 dan 67,5 menjadi 73,0 pada IFEval dalam 60 langkah (skrip, peluncur Hugging Face Jobs, dan README dengan hasilnya).
async_grpo_harborPelatihan AsyncGRPO pada suite tugas Harbor melalui agen coding yang terinstal (mini-swe-agent, opencode, claude-code, …) yang disajikan melalui OpenEnv: agen memiliki loop-nya sendiri di dalam sandbox dan TRL melatih pada token ids dan logprobs yang dicatat oleh proxy capture.
async_grpo_mathGRPO asinkron pada GSM8K dengan AsyncGRPOTrainer, memisahkan proses generasi (server vLLM) dari pelatihan, termasuk varian LoRA yang hanya menyinkronkan adapter ke server vLLM.
dpo_reduce_hallucinationsFine-tuning DPO pada Vision Language Model untuk mengurangi halusinasi menggunakan dataset openbmb/RLAIF-V-Dataset.
gold_chatbot_arenaGeneral Online Logit Distillation (GOLD) dari guru Qwen2 ke siswa Llama 3.2 (cross-tokenizer) pada chatbot_arena_completions dengan experimental.gold.GOLDTrainer, dengan varian full-training dan LoRA.
gold_qwen3_vlGeneral Online Logit Distillation (GOLD) dari Qwen3-VL-8B ke siswa VLM yang lebih kecil menggunakan experimental.gold.GOLDTrainer, mencakup distilasi dalam keluarga yang sama (loss JSD) dan lintas keluarga (loss ULD).
grpo_2048GRPO dengan pemanggilan alat untuk mengajarkan model bermain game 2048.
grpo_browsergymGRPO dengan lingkungan OpenEnv BrowserGym, dengan varian LLM dan VLM.
grpo_carlaGRPO dengan lingkungan OpenEnv untuk mengemudi otonom CARLA, dengan varian LLM dan VLM (respons alat gambar kamera multimodal).
grpo_catchGRPO dengan Catch (OpenSpiel) OpenEnv environment.
grpo_continuous_batchingGRPO dengan mesin continuous batching dari transformers untuk generasi yang lebih cepat pada batch besar dengan panjang penyelesaian yang bervariasi.
grpo_echoPelatihan GRPO minimal dengan lingkungan OpenEnv Echo.
grpo_harborPelatihan GRPO terhadap suite tugas Harbor dengan agen dasar yang dapat dicabut (bash / jupyter / terminal_notes harness). Lihat panduan Integrasi Harbor.
grpo_ministral3_vlGRPO Ministral 3 dengan QLoRA di Colab gratis.Open In Colab
grpo_multi_envPelatihan GRPO multi-lingkungan: Wordle + Catch OpenEnv lingkungan dalam satu eksekusi pelatihan yang sama.
grpo_qloraGRPO menggunakan QLoRA di Colab gratis.Open In Colab
grpo_qwen3_vlGRPO Qwen3-VL dengan QLoRA di Colab gratis.Open In Colab
grpo_rnj_1_instructGRPO pada rnj-1-instruct dengan QLoRA di Colab untuk menambahkan kemampuan penalaran.Open In Colab
grpo_setaPelatihan GRPO terhadap lingkungan SETA ORS di katalog openreward.ai. Lihat panduan Integrasi OpenReward.
grpo_sql_agentGRPO untuk melatih agen yang menjawab pertanyaan dengan meng-query basis data SQL (skrip dan notebook; tidak dapat dijalankan di Colab gratis karena OOM).
grpo_sudokuGRPO untuk bermain Sudoku (TextArena) pada lingkungan OpenEnv, dimulai dari model SFT: 0, 10, dan 22 teka-teki dari 30 terpecahkan pada 26 sel kosong untuk model base, SFT, dan SFT + GRPO (skrip, notebook, dan README dengan hasilnya).Open In Colab
grpo_visual_mathFine-tuning GRPO untuk model multimodal guna penalaran menggunakan dataset lmms-lab/multimodal-open-r1-8k-verified.
grpo_wordleGRPO untuk bermain Wordle (TextArena) di lingkungan OpenEnv (skrip dan notebook).Open In Colab
gspo_mathGSPO melalui GRPOTrainer untuk penalaran matematika pada dataset AI-MO/NuminaMath-TIR.
gspo_visual_mathGSPO melalui GRPOTrainer untuk fine-tune model multimodal untuk penalaran menggunakan dataset lmms-lab/multimodal-open-r1-8k-verified.
lfm2_5_moe_research_agentLiquidAI/LFM2.5-8B-A1B dalam dua langkah: SFT penuh pada pemanggilan fungsi xLAM di satu node 8xH100 dengan SFTTrainer, dipecah saat pemuatan oleh DistributedConfig dari transformers (paralelisme pakar dengan dispatch token, ditambah FSDP), kemudian GRPO agen riset multi-turn pada HotpotQA dengan GRPOTrainer dan environment_factory (alat search / read, reward kecocokan persis).
mpo_visual_preferencesMPO melalui DPOTrainer untuk menyelaraskan model multimodal berdasarkan preferensi menggunakan dataset HuggingFaceH4/rlaif-v_formatted dan seperangkat bobot loss.
online_dpo_visual_mathFine-tuning DPO online untuk Vision Language Model dengan experimental.online_dpo.OnlineDPOTrainer.
rloo_mathRLOO dengan RLOOTrainer untuk penalaran matematika pada dataset AI-MO/NuminaMath-TIR dengan vLLM.
rloo_visual_mathFine-tuning RLOO untuk model multimodal guna penalaran menggunakan dataset lmms-lab/multimodal-open-r1-8k-verified.
sdft_privileged_contextFine-tuning dengan self-distillation menggunakan experimental.sdft.SDFTTrainer, yang mendistilasi konteks istimewa (hanya untuk teacher) ke dalam model.
sdpo_mathSDPO dengan experimental.sdpo.SDPOTrainer menggunakan reward matematika yang dapat diverifikasi dan umpan balik lingkungan opsional pada openai/gsm8k.
sft_agent_tracesSFT dari Qwen3.5-2B pada jejak agen: Qwen3.5-397B-A17B menyelesaikan tugas analisis data Harbor sebagai agen OpenCode di Hugging Face Sandboxes, yang direkam oleh OpenEnv, dan model siswa dilatih pada percakapan yang telah terselesaikan dengan loss hanya untuk asisten. Pada tugas di mana datanya tidak disentuh oleh jejak mana pun, sekitar 500 jejak meningkatkan kinerjanya dari 7,6% menjadi 33,3% (skrip rollout, dataset, dan pelatihan, serta README dengan hasilnya).
sft_beamLoRA SFT dari reflection/Beam-1.0-501B-A23B pada satu node 8xB300 dengan SFTTrainer, di-shard saat load oleh DistributedConfig dari transformers (expert parallelism dengan token dispatch).
sft_diffusion_gemmaSFT dari model bahasa block-diffusion DiffusionGemma pada GSM8K dengan memperluas SFTTrainer menggunakan tujuan block-diffusion.
sft_gemma3SFT dari Gemma 3 pada dataset Codeforces COTS.
sft_gemma3_visionSFT dari Gemma 3 pada tugas dari visi ke teks.
sft_gpt_oss_chessFine-tuning penuh openai/gpt-oss-20b pada teka-teki catur dengan SFTTrainer: TRL memuat para ahli MXFP4-nya dalam bentuk dequantized, dan para ahli yang telah di-fine-tune dikuantisasi kembali ke MXFP4 untuk disajikan seperti aslinya.
sft_ministral3_vlSFT Ministral 3 dengan QLoRA di Colab gratis.Open In Colab
sft_mistral_large_4LoRA SFT dari mistralai/Mistral-Large-4-1T-A52B di atas bobot FP8-nya pada satu node 8xB300 dengan SFTTrainer, di-shard saat pemuatan oleh DistributedConfig dari transformers (parallelisme pakar dengan dispatch token).
sft_nemotron_3SFT dari model NVIDIA Nemotron 3 (skrip dan notebook LoRA).Open In Colab
sft_qloraSFT menggunakan QLoRA di Colab gratis.Open In Colab
sft_qwen3_8b_1m_contextSFT dari Qwen3-8B pada sekuens 1.048.576 token dengan paralelisme konteks, di satu node 8xH100.
sft_qwen3_vlSFT Qwen3-VL dengan QLoRA di Colab gratis.Open In Colab
tail_sft_gsm8kTailSFT pada GSM8K dengan memperluas SFTTrainer menggunakan penyaringan kerugian kebijakan awal.
sft_muse_spark_openLoRA SFT dari meta-models/Muse-Spark-Open-816B-A42B pada 8 node dengan SFTTrainer, di-shard saat load oleh DistributedConfig dari transformers (expert parallelism dengan token dispatch).
sft_tool_callingMengajarkan pemanggilan alat (tool calling) kepada model tanpa dukungan pemanggilan alat bawaan menggunakan SFT dengan QLoRA (skrip, template obrolan, dan notebook).Open In Colab
sft_visual_chatSFT pada Vision Language Model dalam pengaturan chat. Hanya diuji dengan LLaVA 1.5, LLaVA 1.6, dan Llama-3.2-11B-Vision-Instruct; pengguna mungkin mengalami perilaku yang tidak terduga pada arsitektur model lainnya.
xtokenX-Token off-policy cross-tokenizer knowledge distillation dengan experimental.gold.GOLDTrainer, termasuk persiapan matriks proyeksi.

Pelatihan Terdistribusi

Anda dapat menjalankan skrip contoh pada beberapa GPU dengan torchrun:

torchrun --nproc_per_node {NUM_GPUS} path_to_script.py --all_arguments_of_the_script

Untuk DeepSpeed ZeRO-{1,2,3}:

torchrun --nproc_per_node {NUM_GPUS} path_to_script.py --deepspeed examples/deepspeed_configs/zero{1,2,3}.json --all_arguments_of_the_script

Sesuaikan NUM_GPUS dan --all_arguments_of_the_script sesuai kebutuhan.

Update on GitHub