TRL documentation
Tăng tốc huấn luyện
Tăng tốc huấn luyện
Hướng dẫn này bao gồm các phương pháp khác nhau để tăng tốc huấn luyện trong TRL. Mỗi kỹ thuật đi kèm với các ví dụ tối giản và liên kết đến tài liệu chi tiết hơn.
vLLM cho sinh nhanh trong các phương pháp trực tuyến
Các phương pháp trực tuyến như GRPO hoặc Online DPO yêu cầu mô hình tạo ra các phần hoàn thành, đây thường là một quá trình chậm và có thể ảnh hưởng đáng kể đến thời gian huấn luyện. Để tăng tốc độ tạo, bạn có thể sử dụng vLLM, một thư viện cho phép tạo nhanh thông qua, trong số nhiều thứ khác, PagedAttention. Các trình huấn luyện trực tuyến của TRL hỗ trợ vLLM, cải thiện đáng kể tốc độ huấn luyện. Để biết thêm chi tiết, xem Tích hợp vLLM.
Để sử dụng vLLM, trước tiên hãy cài đặt bằng cách sử dụng:
pip install trl[vllm]
Đầu tiên, hãy khởi động một máy chủ vLLM bằng cách chạy:
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
--weight-transfer-config '{"backend": "nccl"}' \
--logprobs-mode processed_logprobs \
--max-logprobs -1Sau đó, chạy script huấn luyện và truyền use_vllm=True trong các đối số huấn luyện.
from trl.experimental.online_dpo import OnlineDPOConfig
training_args = OnlineDPOConfig(..., use_vllm=True, vllm_mode="server")Đầu tiên, hãy khởi động một máy chủ vLLM bằng cách chạy:
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
--weight-transfer-config '{"backend": "nccl"}' \
--logprobs-mode processed_logprobs \
--max-logprobs -1Sau đó, chạy script huấn luyện và truyền use_vllm=True trong các đối số huấn luyện.
from trl import GRPOConfig
training_args = GRPOConfig(..., use_vllm=True, vllm_mode="server")Bạn có thể tùy chỉnh cấu hình máy chủ bằng cách truyền thêm các đối số. Để biết thêm thông tin, xem tích hợp vLLM.
Khi sử dụng vLLM, hãy đảm bảo rằng các GPU được gán cho huấn luyện và sinh là tách biệt để tránh xung đột tài nguyên. Ví dụ, nếu bạn dự định sử dụng 4 GPU cho huấn luyện và 4 GPU khác cho sinh của vLLM, bạn có thể chỉ định việc phân bổ GPU bằng
CUDA_VISIBLE_DEVICES.Đặt GPU 0-3 cho việc tạo nội dung bằng vLLM:
CUDA_VISIBLE_DEVICES=0,1,2,3 VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \ --weight-transfer-config '{"backend": "nccl"}' \ --logprobs-mode processed_logprobs \ --max-logprobs -1Và các GPU 4-7 để huấn luyện:
CUDA_VISIBLE_DEVICES=4,5,6,7 torchrun --nproc_per_node 4 train.py
Đầu tiên, hãy khởi động một máy chủ vLLM bằng cách chạy:
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
--weight-transfer-config '{"backend": "nccl"}' \
--logprobs-mode processed_logprobs \
--max-logprobs -1Sau đó, chạy script huấn luyện và truyền use_vllm=True trong các đối số huấn luyện.
from trl import RLOOConfig
training_args = RLOOConfig(..., use_vllm=True, vllm_mode="server")Bạn có thể tùy chỉnh cấu hình máy chủ bằng cách truyền thêm các đối số. Để biết thêm thông tin, xem tích hợp vLLM.
Khi sử dụng vLLM, hãy đảm bảo rằng các GPU được gán cho huấn luyện và sinh là tách biệt để tránh xung đột tài nguyên. Ví dụ, nếu bạn dự định sử dụng 4 GPU cho huấn luyện và 4 GPU khác cho sinh của vLLM, bạn có thể chỉ định việc phân bổ GPU bằng
CUDA_VISIBLE_DEVICES.Đặt GPU 0-3 cho việc tạo nội dung bằng vLLM:
CUDA_VISIBLE_DEVICES=0,1,2,3 VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \ --weight-transfer-config '{"backend": "nccl"}' \ --logprobs-mode processed_logprobs \ --max-logprobs -1Và các GPU 4-7 để huấn luyện:
CUDA_VISIBLE_DEVICES=4,5,6,7 torchrun --nproc_per_node 4 train.py
Các triển khai chú ý được tối ưu
TRL hỗ trợ các triển khai attention tối ưu khác nhau, có thể tăng tốc đáng kể quá trình huấn luyện đồng thời giảm mức sử dụng bộ nhớ. Bạn có thể sử dụng trực tiếp các kernel đã được tối ưu từ Kernels Hub hoặc một backend attention được xây dựng thủ công.
Bạn có thể sử dụng các kernel chú ý đã được tối ưu sẵn từ Hub mà không cần biên dịch thủ công:
from trl import SFTConfig
training_args = SFTConfig(..., model_init_kwargs={"attn_implementation": "kernels-community/flash-attn2"})Các tùy chọn khác bao gồm kernels-community/vllm-flash-attn3 và kernels-community/paged-attention.
Chú ý tối ưu hoạt động trên tất cả các trình huấn luyện TRL. Để biết thêm chi tiết, xem Tích hợp Kernels Hub.
Việc tự xây dựng các backend attention tối ưu là phức tạp và tốn thời gian. Không bao giờ nên làm điều này trừ khi thực sự cần thiết. Hãy cân nhắc sử dụng Kernels từ Hub thay thế, như đã mô tả trong phần trước.
Nếu bạn đã cài đặt thủ công một backend chú ý tối ưu như Flash Attention 2, bạn có thể chỉ định nó trong các đối số huấn luyện:
from trl import SFTConfig
training_args = SFTConfig(..., model_init_kwargs={"attn_implementation": "flash_attention_2"})Đào tạo độ chính xác hỗn hợp
Huấn luyện độ chính xác hỗn hợp sử dụng bf16 hoặc fp16 có thể tăng tốc độ huấn luyện và giảm mức sử dụng bộ nhớ với tác động tối thiểu đến chất lượng mô hình.
from trl import SFTConfig
training_args = SFTConfig(..., bf16=True) # or fp16=True for older GPUsSử dụng bf16=True cho các GPU Ampere (A100, RTX 30xx) hoặc mới hơn, và fp16=True cho các GPU đời cũ. Huấn luyện độ chính xác hỗn hợp được hỗ trợ trên tất cả các trainer của TRL.