TRL

MergeModelCallback

clase trl.experimental.merge_model_callback.MergeModelCallback

( merge_config: MergeConfig | None = Nonemerge_at_every_checkpoint: bool = Falsepush_to_hub: bool = False )

Parámetros

merge_config (experimental.merge_model_callback.MergeConfig, opcional) — Configuración utilizada para el proceso de fusión. Si no se proporciona, se utiliza la configuración predeterminada MergeConfig.
merge_at_every_checkpoint (bool, opcional, valor predeterminado False) — Si se fusiona el modelo en cada punto de control.
push_to_hub (bool, opcional, valor predeterminado False) — Si se debe subir el modelo fusionado al Hub después de la fusión.

Un TrainerCallback que fusiona el modelo de política (el modelo que se está entrenando) con otro modelo en función de una configuración de fusión.

Ejemplo:

>>> from trl.experimental.merge_model_callback import MergeConfig, MergeModelCallback

>>> config = MergeConfig()
>>> merge_callback = MergeModelCallback(config)
>>> trainer = DPOTrainer(..., callbacks=[merge_callback])

Update on GitHub