TRL documentation
社区教程
入门指南
概念指南
Trainers
操作指南
命令行界面(CLI)使用 Jobs 进行训练自定义训练减少内存使用加速训练分布式训练在 AWS Trainium 上进行训练在 AMD GPU 上进行训练训练超过 100 万个 Token使用训练好的模型
集成
示例
API
实验性
社区教程
社区教程由 Hugging Face 社区的活跃成员制作,他们希望与他人分享自己的知识和专长。这些教程是了解该库及其功能、并着手使用核心类和模态的绝佳途径。
语言模型
教程
| 任务 | 类 | 描述 | 作者 | 教程 | Colab |
|---|---|---|---|---|---|
| 强化学习 | GRPOTrainer | 在 TRL 中使用 GRPO 和 vLLM 进行高效在线训练 | Sergio Paniego | 链接 | |
| 强化学习 | GRPOTrainer | 在 TRL 中使用 GRPO 对 LLM 进行推理后训练 | Sergio Paniego | 链接 | |
| 强化学习 | GRPOTrainer | Mini-R1:复现 Deepseek R1 的“顿悟时刻”——一个 RL 教程 | Philipp Schmid | 链接 | |
| 强化学习 | GRPOTrainer | 使用 GRPO 和 Unsloth 优化在 LLaMA 3.1-8B 上进行 RL | Andrea Manzoni | 链接 | |
| 指令微调 | SFTTrainer | 使用 QLoRA 以 ChatML 格式微调 Google Gemma 大语言模型 | Philipp Schmid | 链接 | |
| 结构化生成 | SFTTrainer | 使用 QLoRA 和 PEFT 对 Llama-2-7B 进行微调,以生成 JSON 格式的波斯语产品目录 | Mohammadreza Esmaeilian | 链接 | |
| 偏好优化 | DPOTrainer | 使用直接偏好优化(Direct Preference Optimization)对 Mistral-7b 进行对齐,以实现人类偏好对齐 | Maxime Labonne | 链接 | |
| 偏好优化 | experimental.orpo.ORPOTrainer | 使用 ORPO 微调 Llama 3,结合指令调优和偏好对齐 | Maxime Labonne | 链接 | |
| 指令微调 | SFTTrainer | 如何在 2025 年使用 Hugging Face 微调开源 LLM | Philipp Schmid | 链接 | |
| 逐步推理 | GRPOTrainer | 使用 vLLM 进行逐步推理的有监督强化学习(SRL) | Deepak Swaminathan | 链接 |
视频
| 任务 | 标题 | 作者 | 视频 |
|---|---|---|---|
| 指令微调 | 使用 Hugging Face TRL 微调开放 AI 模型 | Wietse Venema | ![]() |
| 指令微调 | 如何使用 Hugging Face、TRL 和 smoltalk 数据集微调 smol-LM | Mayurji | ![]() |
⚠️ Deprecated features notice for "How to fine-tune a smol-LM with Hugging Face, TRL, and the smoltalk Dataset" (click to expand)
该教程使用了两个已弃用的功能:
SFTTrainer(..., tokenizer=tokenizer):请改用SFTTrainer(..., processing_class=tokenizer),或者直接省略该参数(它将从模型中推断得出)。setup_chat_format(model, tokenizer):使用SFTConfig(..., chat_template_path="Qwen/Qwen3-0.6B"),其中chat_template_path指定要复制其聊天模板的模型。
视觉语言模型
教程
| 任务 | 类 | 描述 | 作者 | 教程 | Colab |
|---|---|---|---|---|---|
| 视觉问答 | SFTTrainer | 在 ChartQA 数据集上微调 Qwen2-VL-7B 以进行视觉问答 | Sergio Paniego | 链接 | |
| 视觉问答 | SFTTrainer | 在消费级 GPU 上使用 TRL 微调 SmolVLM | Sergio Paniego | 链接 | |
| SEO 描述 | SFTTrainer | 微调 Qwen2-VL-7B 以从图像生成对 SEO 友好的描述 | Philipp Schmid | 链接 | |
| 视觉问答 | DPOTrainer | PaliGemma 🤝 直接偏好优化 | Merve Noyan | 链接 | |
| 视觉问答 | DPOTrainer | 使用 TRL 在消费级 GPU 上通过直接偏好优化(DPO)对 SmolVLM 进行微调 | Sergio Paniego | 链接 | |
| 目标检测定位 | SFTTrainer | 使用 TRL 对 VLM 进行微调以实现目标检测定位 | Sergio Paniego | 链接 | |
| 视觉问答 | DPOTrainer | 使用 TRL 和 MPO 微调视觉语言模型 | Sergio Paniego | 链接 | |
| 强化学习 | GRPOTrainer | 使用 TRL 通过 GRPO 对 VLM 进行推理后训练 | Sergio Paniego | 链接 |
语音语言模型
教程
| 任务 | 类 | 描述 | 作者 | 教程 |
|---|---|---|---|---|
| 文本转语音 | GRPOTrainer | 使用 TRL 通过 GRPO 对语音语言模型进行后训练 | Steven Zheng | 链接 |
贡献
如果您有希望添加到该列表中的教程,请提交一个 PR 来添加。我们会对其进行审核,如果它对社区有价值,就会将其合并。
Update on GitHub
