TRL documentation
Tích hợp vLLM
Tích hợp vLLM
Tài liệu này sẽ hướng dẫn bạn quy trình sử dụng vLLM với TRL để tăng tốc độ sinh văn bản trong các phương pháp trực tuyến như GRPO và Online DPO. Trước tiên, chúng tôi tóm tắt ngắn gọn cách sử dụng vLLM với TRL, sau đó đi vào chi tiết về cách hoạt động bên trong của hệ thống.
TRL hiện chỉ hỗ trợ các phiên bản vLLM từ
0.23.0đến0.33.x. Vui lòng đảm bảo bạn đã cài đặt một phiên bản nằm trong khoảng này để tránh các vấn đề về tương thích.
Các trainer sau hiện hỗ trợ generation với vLLM:
🚀 Làm thế nào để sử dụng vLLM với TRL để tăng tốc quá trình huấn luyện?
💡 Lưu ý: Tài nguyên cần thiết cho ví dụ cụ thể này: một nút duy nhất với 8 GPU.
Khi sử dụng vLLM với TRL, máy chủ vLLM và trainer phải chạy trên các thiết bị CUDA riêng biệt để tránh xung đột. Để có hướng dẫn cấu hình đúng cách, hãy xem Các chế độ sử dụng vLLM trong quá trình huấn luyện.
Đầu tiên, hãy cài đặt vLLM bằng lệnh sau:
pip install "trl[vllm]"Sau đó, chạy máy chủ trên các GPU cụ thể (ví dụ: GPU 0-3):
CUDA_VISIBLE_DEVICES=0,1,2,3 VLLM_SERVER_DEV_MODE=1 vllm serve Qwen/Qwen2.5-7B --tensor-parallel-size 4 \
--weight-transfer-config '{"backend": "nccl"}' \
--logprobs-mode processed_logprobs \
--max-logprobs -1Khi server đã chạy, bạn có thể sử dụng nó để tạo các completion cho việc huấn luyện. Trong ví dụ bên dưới, chúng ta đang sử dụng các trainer được hỗ trợ khác nhau bằng cách dùng server vLLM cho việc generation. Các đối số --tensor-parallel-size và --data-parallel-size kiểm soát cách model và dữ liệu được chia nhỏ trên các GPU.
Trong ví dụ này, chúng ta chia nhỏ một mô hình trên 4 GPU bằng tensor parallelism. Sau đó, chạy script huấn luyện trên các GPU khác (ví dụ: GPU 4-7) bằng cách truyền use_vllm=True trong các đối số huấn luyện như sau:
Mẫu của một kịch bản train.py đơn giản:
from datasets import load_dataset
from trl import GRPOTrainer, GRPOConfig
from trl.rewards import accuracy_reward
dataset = load_dataset("trl-lib/DeepMath-103K", split="train")
trainer = GRPOTrainer(
model="Qwen/Qwen2.5-7B",
args=GRPOConfig(use_vllm=True, vllm_mode="server"),
reward_funcs=accuracy_reward,
train_dataset=dataset,
)
trainer.train()from datasets import load_dataset
from trl.experimental.online_dpo import OnlineDPOConfig, OnlineDPOTrainer
from trl.rewards import accuracy_reward
dataset = load_dataset("trl-lib/DeepMath-103K", split="train")
trainer = OnlineDPOTrainer(
model="Qwen/Qwen2.5-7B",
args=OnlineDPOConfig(use_vllm=True, vllm_mode="server"),
reward_funcs=accuracy_reward,
train_dataset=dataset,
)
trainer.train()from datasets import load_dataset
from trl import RLOOTrainer, RLOOConfig
from trl.rewards import accuracy_reward
dataset = load_dataset("trl-lib/DeepMath-103K", split="train")
trainer = RLOOTrainer(
model="Qwen/Qwen2.5-7B",
args=RLOOConfig(use_vllm=True, vllm_mode="server"),
reward_funcs=accuracy_reward,
train_dataset=dataset,
)
trainer.train()Và lệnh train trên các GPU riêng biệt từ máy chủ:
CUDA_VISIBLE_DEVICES=4,5,6,7 torchrun --nproc_per_node 4 train.py
Tại sao nên sử dụng vLLM?
Các phương pháp trực tuyến tạo ra các phần hoàn thành trong quá trình huấn luyện, và việc tạo ra chúng bằng generate của mô hình là nút thắt cổ chai. vLLM phục vụ các phần hoàn thành đó nhanh hơn nhiều, nhờ vào các kỹ thuật như PagedAttention.
Cách TRL sử dụng máy chủ 🔍
Trainer yêu cầu hoàn thành trên endpoint /v1/completions tương thích OpenAI, gửi các ID token của prompt. Prompt đa phương tiện đi theo một lộ trình khác: server tự xử lý các hình ảnh, và các đặc trưng kết quả được ghép với cùng các ID token đó trên /inference/v1/generate, vì không có endpoint tương thích OpenAI nào nhận cả ID token và hình ảnh cùng lúc.
Máy chủ chỉ thực hiện việc tạo ra. Sau mỗi bước tối ưu hóa, trainer sẽ truyền các trọng số đã cập nhật vào máy chủ qua NCCL, thông báo bằng /start_weight_update và /update_weights, sau đó xác nhận bằng /finish_weight_update.
Cách sử dụng nâng cao
🍷 Nhiều tùy chọn tùy chỉnh hơn với vLLM?
Bạn có thể tùy chỉnh cấu hình máy chủ bằng cách truyền bất kỳ đối số nào của vllm serve, chẳng hạn như --tensor-parallel-size, --data-parallel-size, --max-model-len, --enable-prefix-caching, --enforce-eager, --kv-cache-dtype hoặc --trust-remote-code. Chạy vllm serve --help để xem danh sách đầy đủ.
Chỉ các mục sau đây là bắt buộc đối với TRL:
| Cài đặt | Tại sao |
|---|---|
VLLM_SERVER_DEV_MODE=1 | Tiết lộ các endpoint chuyển trọng số và bộ nhớ đệm tiền tố được sử dụng để đẩy trọng số huấn luyện vào máy chủ. Nó cũng tiết lộ các endpoint phát triển khác của vLLM, vì vậy hãy giữ máy chủ trên một mạng tin cậy. |
--weight-transfer-config '{"backend": "nccl"}' | Bật bộ máy chuyển trọng số NCCL. Sử dụng "ipc" thay thế khi trình huấn luyện và máy chủ dùng chung một GPU. |
--logprobs-mode processed_logprobs | Trả về logprobs sau khi thực hiện temperature scaling và logit processing, đây là điều mà sự hiệu chỉnh importance sampling kỳ vọng. |
--max-logprobs -1 | Nâng giới hạn 20 logprobs mỗi token tương thích với OpenAI, cần thiết để yêu cầu phân phối top-k của giáo viên cho quá trình chưng cất. |
--enable-scale-out | vLLM 0.30.0 trở lên, dành riêng cho prompt đa phương thức và --return-sampling-mask: đăng ký /v1/chat/completions/render và /inference/v1/generate, được trainer sử dụng để xử lý hình ảnh và lấy tập ứng viên của từng token được lấy mẫu. Các phiên bản trước đó sẽ từ chối cờ này. |
trl vllm-serveđã bị ngừng hỗ trợ: lệnh này hiện chỉ xây dựng lệnh và chạy máy chủ của vLLM. Lệnh này in ra chính xác lệnhvllm servemà nó thực thi, để bạn có thể sao chép và bỏ qua lớp bọc.
💆🏻♀️ Cấu hình phân tán nào là tốt nhất?
Mở rộng quy mô sinh bằng --tensor-parallel-size. Song song dữ liệu không còn hữu ích cho các mô hình dense: kể từ vLLM PR #30739 (được phát hành trong 0.14.0), việc mở rộng song song dữ liệu ngoại tuyến cho các mô hình không phải MoE không được hỗ trợ.
vLLM với Backend Transformers
vLLM có thể sử dụng backend Transformers cho các triển khai mô hình, hoạt động cho cả LLM và VLM.
Để bật tính năng này, hãy đặt vllm_model_impl="transformers" trong cấu hình của bạn hoặc truyền nó qua đối số dòng lệnh.
Để biết thêm chi tiết, hãy xem vLLM Transformers Backend.
Ví dụ:
CUDA_DEVICE_ORDER=PCI_BUS_ID CUDA_VISIBLE_DEVICES=0 VLLM_SERVER_DEV_MODE=1 vllm serve Qwen/Qwen2.5-VL-3B-Instruct \
--tensor-parallel-size 1 --port 8000 --enforce-eager --model-impl transformers \
--weight-transfer-config '{"backend": "nccl"}' \
--logprobs-mode processed_logprobs \
--max-logprobs -1 \
--enable-scale-out # vLLM 0.30.0 and later, drop on earlier versionsCác chế độ sử dụng vLLM trong quá trình huấn luyện
TRL hỗ trợ hai chế độ để tích hợp vLLM trong quá trình huấn luyện: chế độ colocate (mặc định) và chế độ server.
Chế độ Colocate
Trong chế độ colocate, vLLM chạy bên trong tiến trình trainer và chia sẻ bộ nhớ GPU với mô hình huấn luyện. Điều này giúp tránh việc khởi động một server riêng và có thể cải thiện mức sử dụng GPU, nhưng có thể dẫn đến tranh chấp bộ nhớ trên các GPU huấn luyện. Đây là chế độ mặc định.
Cấu hình mẫu:
from trl import GRPOConfig
training_args = GRPOConfig(
...,
use_vllm=True, # vllm_mode="colocate" by default
)from trl.experimental.online_dpo import OnlineDPOConfig
training_args = OnlineDPOConfig(
...,
use_vllm=True, # vllm_mode="colocate" by default
)from trl import RLOOConfig
training_args = RLOOConfig(
...,
use_vllm=True, # vllm_mode="colocate" by default
)Chế độ Máy chủ
Trong chế độ máy chủ, vLLM chạy như một tiến trình riêng trên các GPU chuyên dụng và giao tiếp với trình huấn luyện qua HTTP. Cấu hình này lý tưởng nếu bạn có các GPU dành riêng cho suy luận.
Cấu hình mẫu:
from trl import GRPOConfig
training_args = GRPOConfig(
...,
use_vllm=True,
vllm_mode="server",
)from trl.experimental.online_dpo import OnlineDPOConfig
training_args = OnlineDPOConfig(
...,
use_vllm=True,
vllm_mode="server",
)from trl import RLOOConfig
training_args = RLOOConfig(
...,
use_vllm=True,
vllm_mode="server",
)Xem tài liệu của trainer bạn đang sử dụng để biết chi tiết cụ thể về cách sử dụng và các tham số của vLLM.
Update on GitHubĐể giảm mức sử dụng bộ nhớ GPU khi chạy vLLM, hãy cân nhắc bật chế độ ngủ của vLLM.