TRL documentation
AWS Trainium에서 학습
AWS Trainium에서 학습
AWS Trainium은 torch-neuronx 패키지를 통해 PyTorch를 네이티브로 실행하며, 이 패키지는 neuron 장치를 등록합니다. TRL 트레이너는 코드 변경 없이 해당 장치에서 실행됩니다. Neuron은 확인하는 각 입력 형식에 대해 그래프를 컴파일하며, 각 컴파일에는 약 1분이 소요되므로 이 페이지의 대부분은 형식을 정적으로 유지하는 방법에 대해 다룹니다. 설치 및 Transformers 관련 사항은 Transformers AWS Trainium 가이드를 참조하세요.
설치
AWS Neuron 설정 가이드에 따라 torch-neuronx를 설치한 후, 동일한 환경에서 TRL을 설치합니다.
pip install trl
Supervised fine-tuning
SFTTrainer 빠른 시작은 그대로 실행됩니다:
from datasets import load_dataset
from trl import SFTTrainer
trainer = SFTTrainer(
model="Qwen/Qwen3-0.6B",
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Neuron에서 pad_to_multiple_of의 기본값은 128(즉, "auto" 값)이므로 시퀀스는 128의 배수로 패딩됩니다. 이를 통해 shape의 수, 즉 컴파일 횟수가 max_length / 128로 제한됩니다. 이 설정이 없으면 새로운 시퀀스 길이가 발생할 때마다 컴파일이 트리거됩니다. NeuronCore 1개에서 per_device_train_batch_size=4로 설정할 때, 위 예시의 20개 스텝은 기본값을 사용할 경우 130초, pad_to_multiple_of=None을 사용할 경우 260초가 소요됩니다.
pad_to_multiple_of 옵션이 있는 모든 trainer에도 동일하게 적용됩니다: DPO, KTO, Reward, GRPO, RLOO 및 Distillation.
모델 컴파일
torch_compile=True를 설정하여 모델을 neuron 백엔드로 컴파일합니다. Dynamo의 자동 동적 모양은 Neuron 백엔드에서 아직 컴파일할 수 없는 그래프를 생성하므로(#7660), 이를 비활성화해야 합니다:
import torch
from datasets import load_dataset
from trl import SFTConfig, SFTTrainer
torch._dynamo.config.automatic_dynamic_shapes = False
trainer = SFTTrainer(
model="Qwen/Qwen3-0.6B",
args=SFTConfig(torch_compile=True),
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()첫 단계에서 약 2분 동안 컴파일이 수행됩니다. 이후 per_device_train_batch_size=4 설정으로 Qwen3-0.6B를 학습할 때, 컴파일 없이 1.71 s/step이었던 시간이 NeuronCore 1개에서 1.15 s/step으로 단축됩니다.
온라인 방법
vLLM은 Neuron에서 실행되지 않으므로 GRPO와 RLOO는 Transformers로 생성합니다. 기본 동적 캐시를 사용하면 생성되는 각 토큰마다 새로운 shape가 발생하여 한 step에 수 분씩 소요됩니다. 디코딩 shape를 고정하는 정적 캐시를 사용하세요:
from datasets import load_dataset
from trl import GRPOConfig, GRPOTrainer
# Reward completions close to 200 characters
def reward_len(completions, **kwargs):
return [-abs(200 - len(completion)) / 100 for completion in completions]
trainer = GRPOTrainer(
model="Qwen/Qwen3-0.6B",
reward_funcs=reward_len,
args=GRPOConfig(
per_device_train_batch_size=4,
num_generations=4,
max_completion_length=128,
cache_implementation="static",
model_init_kwargs={"dtype": "bfloat16"},
),
train_dataset=load_dataset("trl-lib/tldr", split="train"),
)
trainer.train()프롬프트는 생성 전에 pad_to_multiple_of으로 패딩되므로, 정적 캐시는 몇 가지 크기만 사용합니다. 각 새로운 크기는 NeuronCore 하나당 약 12분 동안 컴파일됩니다. 크기가 컴파일된 후에는 이 예시의 한 스텝에 약 25초가 소요됩니다.
현재 정적 캐시는 bf16 모델이 필요합니다. 기본 fp32 모델을 사용하면 키와 값이 서로 다른 dtype으로 저장됩니다(#7664).
데이터 병렬
Trainium2 칩 1개를 포함하는 trn2.3xlarge 인스턴스에서 기본 Logical NeuronCore 구성(LNC=2)은 칩의 물리적 NeuronCore 8개를 논리적 NeuronCore 4개로 페어링합니다.
네 개의 NeuronCore 모두에서 학습하려면, NeuronCore마다 하나의 프로세스를 torchrun으로 시작합니다:
torchrun --nproc_per_node 4 train.py
이 설정에서 SFT는 1개 NeuronCore보다 4개 NeuronCore에서 3.6배 더 빠르게 실행됩니다.
NeuronCore의 하위 집합으로 실행을 제한하려면 NEURON_RT_VISIBLE_CORES를 0,1, 2,3 또는 0-3으로 설정합니다. 1,2와 같은 다른 조합은 지원되지 않으며, 이러한 조합에 대해 Neuron 런타임은 collectives를 설정하지 못합니다.