TRL documentation

Tăng tốc huấn luyện

You are viewing v1.18.0 version. A newer version v1.18.1 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Tăng tốc huấn luyện

Hướng dẫn này bao gồm các phương pháp khác nhau để tăng tốc huấn luyện trong TRL. Mỗi kỹ thuật đi kèm với các ví dụ tối giản và liên kết đến tài liệu chi tiết hơn.

vLLM cho sinh nhanh trong các phương pháp trực tuyến

Các phương pháp trực tuyến như GRPO hoặc Online DPO yêu cầu mô hình tạo ra các phần hoàn thành, đây thường là một quá trình chậm và có thể ảnh hưởng đáng kể đến thời gian huấn luyện. Để tăng tốc độ tạo, bạn có thể sử dụng vLLM, một thư viện cho phép tạo nhanh thông qua, trong số nhiều thứ khác, PagedAttention. Các trình huấn luyện trực tuyến của TRL hỗ trợ vLLM, cải thiện đáng kể tốc độ huấn luyện. Để biết thêm chi tiết, xem Tích hợp vLLM.

Để sử dụng vLLM, trước tiên hãy cài đặt bằng cách sử dụng:

pip install trl[vllm]
DPO trực tuyến
GRPO
RLOO

Đầu tiên, hãy khởi động một máy chủ vLLM bằng cách chạy:

VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
    --weight-transfer-config '{"backend": "nccl"}' \
    --logprobs-mode processed_logprobs \
    --max-logprobs -1

Sau đó, chạy script huấn luyện và truyền use_vllm=True trong các đối số huấn luyện.

from trl.experimental.online_dpo import OnlineDPOConfig

training_args = OnlineDPOConfig(..., use_vllm=True, vllm_mode="server")

Các triển khai chú ý được tối ưu

TRL hỗ trợ các triển khai attention tối ưu khác nhau, có thể tăng tốc đáng kể quá trình huấn luyện đồng thời giảm mức sử dụng bộ nhớ. Bạn có thể sử dụng trực tiếp các kernel đã được tối ưu từ Kernels Hub hoặc một backend attention được xây dựng thủ công.

Kernels từ Hub
Xây dựng thủ công

Bạn có thể sử dụng các kernel chú ý đã được tối ưu sẵn từ Hub mà không cần biên dịch thủ công:

from trl import SFTConfig

training_args = SFTConfig(..., model_init_kwargs={"attn_implementation": "kernels-community/flash-attn2"})

Các tùy chọn khác bao gồm kernels-community/vllm-flash-attn3 và kernels-community/paged-attention.

Chú ý tối ưu hoạt động trên tất cả các trình huấn luyện TRL. Để biết thêm chi tiết, xem Tích hợp Kernels Hub.

Đào tạo độ chính xác hỗn hợp

Huấn luyện độ chính xác hỗn hợp sử dụng bf16 hoặc fp16 có thể tăng tốc độ huấn luyện và giảm mức sử dụng bộ nhớ với tác động tối thiểu đến chất lượng mô hình.

from trl import SFTConfig

training_args = SFTConfig(..., bf16=True)  # or fp16=True for older GPUs

Sử dụng bf16=True cho các GPU Ampere (A100, RTX 30xx) hoặc mới hơn, và fp16=True cho các GPU đời cũ. Huấn luyện độ chính xác hỗn hợp được hỗ trợ trên tất cả các trainer của TRL.

Update on GitHub