TRL documentation

DeepSpeedの統合

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DeepSpeedの統合

TRLは、高度な学習最適化技術を実装したライブラリであるDeepSpeedによる学習をサポートしています。これには、オプティマイザ状態のパーティショニング、オフローディング、勾配のパーティショニングなどが含まれます。

DeepSpeedは、Zero Redundancy Optimizer (ZeRO)を統合しており、これにより、デバイスの数に比例してモデルサイズを拡大しながら、高い効率を維持できます。

ZeRO Stages

インストール

TRLでDeepSpeedを使用するには、以下のコマンドでインストールしてください:

pip install deepspeed

DeepSpeedでトレーニングスクリプトを実行する

学習スクリプトの修正は不要です。Trainerと同様に、学習引数を通じてDeepSpeedを有効にします。deepspeedにDeepSpeed設定ファイルのパスを設定し、torchrunで起動してください。

training_args = SFTConfig(..., deepspeed="<DEEPSPEED_CONFIG_FILE.json>")
torchrun --nproc_per_node 8 train.py

trl CLI の背後にあるスクリプトなど、TrlParser で引数を解析するスクリプトは、コマンドラインから取得します:

trl sft ... --deepspeed <DEEPSPEED_CONFIG_FILE.json>

examples/deepspeed_configs ディレクトリに、すぐに使える DeepSpeed の設定ファイルを提供しています。例えば、ZeRO Stage 2 でトレーニングを実行するには:

trl sft ... --deepspeed examples/deepspeed_configs/zero2.json

これらのファイル内で"auto"に設定されている値(バッチサイズ、勾配の累積、精度など)は、トレーニング引数から補完されます。

追加のリソース

DeepSpeed統合の詳細については、🤗 TransformersのDeepSpeedドキュメントを参照してください。

Update on GitHub