TRL documentation
Contoh
Contoh
Direktori examples/ berisi kumpulan contoh mandiri yang menunjukkan cara menggunakan pustaka TRL untuk berbagai aplikasi. Setiap contoh berada di foldernya sendiri yang dinamai berdasarkan metode dan tugas yang ditunjukkan (misalnya grpo_wordle, sft_gpt_oss_chess), dan menyimpan semua yang dibutuhkan contoh tersebut: skrip, notebook, prompt, template chat, dan kode evaluasi.
Skrip pelatihan single-trainer dasar bukanlah contoh: mereka berada di trl/scripts dan dipaparkan melalui antarmuka baris perintah (trl sft, trl dpo, trl grpo, …). Halaman dokumentasi masing-masing trainer juga berisi potongan kode lengkap yang dapat dijalankan.
Sumber daya bersama berada di akar examples/:
examples/deepspeed_configs: file konfigurasi DeepSpeed ZeRO, yang diteruskan dengan--deepspeed, dan digunakan oleh banyak contoh.examples/fsdp_configs: file konfigurasi FSDP, yang diteruskan dengan--fsdp --fsdp_config(hanya--fsdpdi baris perintah membutuhkan transformers 5.10 atau lebih baru; pada versi yang lebih lama, aturfsdp=Truedi konfigurasi pelatihan).examples/datasets: skrip yang digunakan untuk menghasilkan datasettrl-libyang dipakai di seluruh contoh.
Mulai
Instal TRL dan dependensi tambahan sebagai berikut:
pip install --upgrade trl[quantization]
Periksa dependensi opsional tambahan di sini. Contoh berbasis notebook bersifat mandiri dan dapat dijalankan di Colab gratis; contoh berbasis skrip dijalankan pada setup single-GPU, multi-GPU, atau DeepSpeed (lihat Distributed Training di bawah).
Indeks
| Contoh | Deskripsi | Buka di Colab |
|---|---|---|
async_distillation_math | Distilasi on-policy asinkron pada GSM8K dengan experimental.async_distillation.AsyncDistillationTrainer: guru disajikan melalui HTTP dengan vLLM. | |
async_distillation_mopd | Distilasi on-policy multi-guru (MOPD) dengan experimental.async_distillation.AsyncDistillationTrainer: menggabungkan pakar matematika, kode, dan mengikuti instruksi dari Open-MOPD ke dalam checkpoint SFT mereka: 17,5 menjadi 24,2 pada AIME24 dan 67,5 menjadi 73,0 pada IFEval dalam 60 langkah (skrip, peluncur Hugging Face Jobs, dan README dengan hasilnya). | |
async_grpo_harbor | Pelatihan AsyncGRPO pada suite tugas Harbor melalui agen coding yang terinstal (mini-swe-agent, opencode, claude-code, …) yang disajikan melalui OpenEnv: agen memiliki loop-nya sendiri di dalam sandbox dan TRL melatih pada token ids dan logprobs yang dicatat oleh proxy capture. | |
async_grpo_math | GRPO asinkron pada GSM8K dengan AsyncGRPOTrainer, memisahkan proses generasi (server vLLM) dari pelatihan, termasuk varian LoRA yang hanya menyinkronkan adapter ke server vLLM. | |
dpo_reduce_hallucinations | Fine-tuning DPO pada Vision Language Model untuk mengurangi halusinasi menggunakan dataset openbmb/RLAIF-V-Dataset. | |
gold_chatbot_arena | General Online Logit Distillation (GOLD) dari guru Qwen2 ke siswa Llama 3.2 (cross-tokenizer) pada chatbot_arena_completions dengan experimental.gold.GOLDTrainer, dengan varian full-training dan LoRA. | |
gold_qwen3_vl | General Online Logit Distillation (GOLD) dari Qwen3-VL-8B ke siswa VLM yang lebih kecil menggunakan experimental.gold.GOLDTrainer, mencakup distilasi dalam keluarga yang sama (loss JSD) dan lintas keluarga (loss ULD). | |
grpo_2048 | GRPO dengan pemanggilan alat untuk mengajarkan model bermain game 2048. | |
grpo_browsergym | GRPO dengan lingkungan OpenEnv BrowserGym, dengan varian LLM dan VLM. | |
grpo_carla | GRPO dengan lingkungan OpenEnv untuk mengemudi otonom CARLA, dengan varian LLM dan VLM (respons alat gambar kamera multimodal). | |
grpo_catch | GRPO dengan Catch (OpenSpiel) OpenEnv environment. | |
grpo_continuous_batching | GRPO dengan mesin continuous batching dari transformers untuk generasi yang lebih cepat pada batch besar dengan panjang penyelesaian yang bervariasi. | |
grpo_echo | Pelatihan GRPO minimal dengan lingkungan OpenEnv Echo. | |
grpo_harbor | Pelatihan GRPO terhadap suite tugas Harbor dengan agen dasar yang dapat dicabut (bash / jupyter / terminal_notes harness). Lihat panduan Integrasi Harbor. | |
grpo_ministral3_vl | GRPO Ministral 3 dengan QLoRA di Colab gratis. | |
grpo_multi_env | Pelatihan GRPO multi-lingkungan: Wordle + Catch OpenEnv lingkungan dalam satu eksekusi pelatihan yang sama. | |
grpo_qlora | GRPO menggunakan QLoRA di Colab gratis. | |
grpo_qwen3_vl | GRPO Qwen3-VL dengan QLoRA di Colab gratis. | |
grpo_rnj_1_instruct | GRPO pada rnj-1-instruct dengan QLoRA di Colab untuk menambahkan kemampuan penalaran. | |
grpo_seta | Pelatihan GRPO terhadap lingkungan SETA ORS di katalog openreward.ai. Lihat panduan Integrasi OpenReward. | |
grpo_sql_agent | GRPO untuk melatih agen yang menjawab pertanyaan dengan meng-query basis data SQL (skrip dan notebook; tidak dapat dijalankan di Colab gratis karena OOM). | |
grpo_sudoku | GRPO untuk bermain Sudoku (TextArena) pada lingkungan OpenEnv, dimulai dari model SFT: 0, 10, dan 22 teka-teki dari 30 terpecahkan pada 26 sel kosong untuk model base, SFT, dan SFT + GRPO (skrip, notebook, dan README dengan hasilnya). | |
grpo_visual_math | Fine-tuning GRPO untuk model multimodal guna penalaran menggunakan dataset lmms-lab/multimodal-open-r1-8k-verified. | |
grpo_wordle | GRPO untuk bermain Wordle (TextArena) di lingkungan OpenEnv (skrip dan notebook). | |
gspo_math | GSPO melalui GRPOTrainer untuk penalaran matematika pada dataset AI-MO/NuminaMath-TIR. | |
gspo_visual_math | GSPO melalui GRPOTrainer untuk fine-tune model multimodal untuk penalaran menggunakan dataset lmms-lab/multimodal-open-r1-8k-verified. | |
lfm2_5_moe_research_agent | LiquidAI/LFM2.5-8B-A1B dalam dua langkah: SFT penuh pada pemanggilan fungsi xLAM di satu node 8xH100 dengan SFTTrainer, dipecah saat pemuatan oleh DistributedConfig dari transformers (paralelisme pakar dengan dispatch token, ditambah FSDP), kemudian GRPO agen riset multi-turn pada HotpotQA dengan GRPOTrainer dan environment_factory (alat search / read, reward kecocokan persis). | |
mpo_visual_preferences | MPO melalui DPOTrainer untuk menyelaraskan model multimodal berdasarkan preferensi menggunakan dataset HuggingFaceH4/rlaif-v_formatted dan seperangkat bobot loss. | |
online_dpo_visual_math | Fine-tuning DPO online untuk Vision Language Model dengan experimental.online_dpo.OnlineDPOTrainer. | |
rloo_math | RLOO dengan RLOOTrainer untuk penalaran matematika pada dataset AI-MO/NuminaMath-TIR dengan vLLM. | |
rloo_visual_math | Fine-tuning RLOO untuk model multimodal guna penalaran menggunakan dataset lmms-lab/multimodal-open-r1-8k-verified. | |
sdft_privileged_context | Fine-tuning dengan self-distillation menggunakan experimental.sdft.SDFTTrainer, yang mendistilasi konteks istimewa (hanya untuk teacher) ke dalam model. | |
sdpo_math | SDPO dengan experimental.sdpo.SDPOTrainer menggunakan reward matematika yang dapat diverifikasi dan umpan balik lingkungan opsional pada openai/gsm8k. | |
sft_agent_traces | SFT dari Qwen3.5-2B pada jejak agen: Qwen3.5-397B-A17B menyelesaikan tugas analisis data Harbor sebagai agen OpenCode di Hugging Face Sandboxes, yang direkam oleh OpenEnv, dan model siswa dilatih pada percakapan yang telah terselesaikan dengan loss hanya untuk asisten. Pada tugas di mana datanya tidak disentuh oleh jejak mana pun, sekitar 500 jejak meningkatkan kinerjanya dari 7,6% menjadi 33,3% (skrip rollout, dataset, dan pelatihan, serta README dengan hasilnya). | |
sft_beam | LoRA SFT dari reflection/Beam-1.0-501B-A23B pada satu node 8xB300 dengan SFTTrainer, di-shard saat load oleh DistributedConfig dari transformers (expert parallelism dengan token dispatch). | |
sft_diffusion_gemma | SFT dari model bahasa block-diffusion DiffusionGemma pada GSM8K dengan memperluas SFTTrainer menggunakan tujuan block-diffusion. | |
sft_gemma3 | SFT dari Gemma 3 pada dataset Codeforces COTS. | |
sft_gemma3_vision | SFT dari Gemma 3 pada tugas dari visi ke teks. | |
sft_gpt_oss_chess | Fine-tuning penuh openai/gpt-oss-20b pada teka-teki catur dengan SFTTrainer: TRL memuat para ahli MXFP4-nya dalam bentuk dequantized, dan para ahli yang telah di-fine-tune dikuantisasi kembali ke MXFP4 untuk disajikan seperti aslinya. | |
sft_ministral3_vl | SFT Ministral 3 dengan QLoRA di Colab gratis. | |
sft_mistral_large_4 | LoRA SFT dari mistralai/Mistral-Large-4-1T-A52B di atas bobot FP8-nya pada satu node 8xB300 dengan SFTTrainer, di-shard saat pemuatan oleh DistributedConfig dari transformers (parallelisme pakar dengan dispatch token). | |
sft_nemotron_3 | SFT dari model NVIDIA Nemotron 3 (skrip dan notebook LoRA). | |
sft_qlora | SFT menggunakan QLoRA di Colab gratis. | |
sft_qwen3_8b_1m_context | SFT dari Qwen3-8B pada sekuens 1.048.576 token dengan paralelisme konteks, di satu node 8xH100. | |
sft_qwen3_vl | SFT Qwen3-VL dengan QLoRA di Colab gratis. | |
tail_sft_gsm8k | TailSFT pada GSM8K dengan memperluas SFTTrainer menggunakan penyaringan kerugian kebijakan awal. | |
sft_muse_spark_open | LoRA SFT dari meta-models/Muse-Spark-Open-816B-A42B pada 8 node dengan SFTTrainer, di-shard saat load oleh DistributedConfig dari transformers (expert parallelism dengan token dispatch). | |
sft_tool_calling | Mengajarkan pemanggilan alat (tool calling) kepada model tanpa dukungan pemanggilan alat bawaan menggunakan SFT dengan QLoRA (skrip, template obrolan, dan notebook). | |
sft_visual_chat | SFT pada Vision Language Model dalam pengaturan chat. Hanya diuji dengan LLaVA 1.5, LLaVA 1.6, dan Llama-3.2-11B-Vision-Instruct; pengguna mungkin mengalami perilaku yang tidak terduga pada arsitektur model lainnya. | |
xtoken | X-Token off-policy cross-tokenizer knowledge distillation dengan experimental.gold.GOLDTrainer, termasuk persiapan matriks proyeksi. |
Pelatihan Terdistribusi
Anda dapat menjalankan skrip contoh pada beberapa GPU dengan torchrun:
torchrun --nproc_per_node {NUM_GPUS} path_to_script.py --all_arguments_of_the_scriptUntuk DeepSpeed ZeRO-{1,2,3}:
torchrun --nproc_per_node {NUM_GPUS} path_to_script.py --deepspeed examples/deepspeed_configs/zero{1,2,3}.json --all_arguments_of_the_scriptSesuaikan NUM_GPUS dan --all_arguments_of_the_script sesuai kebutuhan.