TRL documentation
DeepSpeedの統合
はじめに
コンセプトガイド
Trainers
ハウツーガイド
コマンドラインインターフェース (CLI)Jobs を使用したトレーニングトレーニングのカスタマイズメモリ使用量の削減トレーニングの高速化トレーニングの分散AWS TrainiumでのトレーニングAMD GPUでのトレーニング100万トークン超のトレーニング学習済みモデルの使用
統合
例
API
実験的
DeepSpeedの統合
TRLは、高度な学習最適化技術を実装したライブラリであるDeepSpeedによる学習をサポートしています。これには、オプティマイザ状態のパーティショニング、オフローディング、勾配のパーティショニングなどが含まれます。
DeepSpeedは、Zero Redundancy Optimizer (ZeRO)を統合しており、これにより、デバイスの数に比例してモデルサイズを拡大しながら、高い効率を維持できます。

インストール
TRLでDeepSpeedを使用するには、以下のコマンドでインストールしてください:
pip install deepspeed
DeepSpeedでトレーニングスクリプトを実行する
学習スクリプトの修正は不要です。Trainerと同様に、学習引数を通じてDeepSpeedを有効にします。deepspeedにDeepSpeed設定ファイルのパスを設定し、torchrunで起動してください。
training_args = SFTConfig(..., deepspeed="<DEEPSPEED_CONFIG_FILE.json>")torchrun --nproc_per_node 8 train.py
trl CLI の背後にあるスクリプトなど、TrlParser で引数を解析するスクリプトは、コマンドラインから取得します:
trl sft ... --deepspeed <DEEPSPEED_CONFIG_FILE.json>
examples/deepspeed_configs ディレクトリに、すぐに使える DeepSpeed の設定ファイルを提供しています。例えば、ZeRO Stage 2 でトレーニングを実行するには:
trl sft ... --deepspeed examples/deepspeed_configs/zero2.json
これらのファイル内で"auto"に設定されている値(バッチサイズ、勾配の累積、精度など)は、トレーニング引数から補完されます。
追加のリソース
DeepSpeed統合の詳細については、🤗 TransformersのDeepSpeedドキュメントを参照してください。
Update on GitHub