Parâmetros

• model (str | nn.Module | PreTrainedModel) — Modelo a ser treinado. Pode ser:
  • Uma string, sendo o model id de um modelo pré-treinado hospedado em um repositório de modelos no huggingface.co, ou um caminho para um diretório contendo pesos de modelo salvos usando save_pretrained, por exemplo, './my_model_directory/'. O modelo é carregado usando from_pretrained com os argumentos de palavra-chave em args.model_init_kwargs.
  • Um objeto PreTrainedModel. Somente modelos de linguagem causais são suportados.
• ref_model (PreTrainedModel ou torch.nn.Module ou None) — O modelo de referência a ser usado para o treinamento. Se None for especificado, o modelo de referência será criado a partir do modelo.
• reward_funcs (RewardFunc | list[RewardFunc]) — Funções de recompensa a serem usadas para calcular as recompensas. Para calcular as recompensas, chamamos todas as funções de recompensa com os prompts e as conclusões e somamos as recompensas. Pode ser:
  • Uma única função de recompensa: pode ser uma string (caminho para o modelo), um PreTrainedModel ou uma função chamável personalizada.
  • Uma lista de funções de recompensa: todas devem ser de tipos compatíveis.
• args (experimental.online_dpo.OnlineDPOConfig) — Os argumentos de configuração do DPO online a serem usados para o treinamento.
• data_collator (DataCollator) — O data collator a ser usado para o treinamento. Se None for especificado, o data collator padrão (experimental.utils.DPODataCollatorWithPadding) será utilizado, que irá aplicar padding nas sequências até o comprimento máximo das sequências no batch, dado um conjunto de dados de sequências em pares.
• train_dataset (Dataset ou IterableDataset) — O conjunto de dados a ser usado para o treinamento.
• eval_dataset (Dataset, IterableDataset ou dict[str, Dataset | IterableDataset]) — O conjunto de dados a ser usado para avaliação.
• processing_class (PreTrainedTokenizerBase ou ProcessorMixin, opcional) — Classe de processamento usada para processar os dados. Se fornecida, será usada para processar automaticamente as entradas para o modelo e será salva junto com o modelo para facilitar a reexecução de um treinamento interrompido ou a reutilização do modelo ajustado.
• reward_processing_classes (PreTrainedTokenizerBase ou list[PreTrainedTokenizerBase], opcional) — Classes de processamento correspondentes às funções de recompensa especificadas em reward_funcs. Pode ser:
  • Uma única classe de processamento: usada quando reward_funcs contém apenas uma função de recompensa.
  • Uma lista de classes de processamento: deve corresponder à ordem e ao comprimento das funções de recompensa em reward_funcs.

  Se definido como None, o tokenizer para cada função de recompensa baseada em modelo é carregado automaticamente usando from_pretrained.

• peft_config (PeftConfig, opcional) — Configuração PEFT usada para envolver o modelo. Se None, o modelo não é envolvido.
• compute_metrics (Callable[[EvalPrediction], dict], opcional) — A função a ser usada para calcular as métricas. Deve receber um EvalPrediction e retornar um dicionário de strings para valores de métricas.
• callbacks (list[transformers.TrainerCallback]) — Os callbacks a serem usados para o treinamento.
• optimizers (tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — O otimizador e o agendador a serem usados para o treinamento.
• preprocess_logits_for_metrics (Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — A função a ser usada para pré-processar os logits antes de calcular as métricas.

Parâmetros

• reward_model_path (str, opcional) — Caminho para o modelo de recompensa.
• max_new_tokens (int, opcional, padrão 64) — Número máximo de tokens a serem gerados por conclusão.
• max_length (int, opcional, padrão 512) — Comprimento total máximo da sequência (prompt + completion) usado para calcular as probabilidades logarítmicas. Se a sequência exceder esse limite, os tokens mais à esquerda serão truncados para preservar o máximo possível da completion. Não é aplicado quando as entradas contêm imagens, pois o truncamento removeria os tokens de imagem.
• temperature (float, opcional, padrão 0.9) — Temperatura para amostragem. Quanto maior a temperatura, mais aleatórias são as conclusões.
• missing_eos_penalty (float, opcional) — Penalidade aplicada à pontuação quando o modelo não gera um token EOS. Isso é útil para incentivar a geração de complementos mais curtos que o comprimento máximo (max_new_tokens). A penalidade deve ser um valor positivo.
• beta (float ou list[float], opcional, padrão 0.1) — Parâmetro que controla o desvio em relação ao modelo de referência. Valores maiores de β indicam menor desvio em relação ao modelo de referência. Para a perda IPO (loss_type="ipo"), β é o parâmetro de regularização denotado por τ no artigo. Se uma lista de floats for fornecida, o β é selecionado para cada novo epoch e o último β é usado para o restante dos epochs.
• loss_type (str, opcional, padrão é "sigmoid") — Tipo de loss a ser usado. Os valores possíveis são:
  • "sigmoid": perda sigmoidal do artigo original do DPO.
  • "ipo": perda IPO do paper IPO.
• disable_dropout (bool, opcional, padrão True) — Se deve desabilitar o dropout no modelo e no modelo de referência.

Parâmetros que controlam a geração

• top_p (float, opcional, padrão 1.0) — Float que controla a probabilidade cumulativa dos tokens principais a serem considerados. Deve estar em (0, 1]. Defina como 1.0 para considerar todos os tokens.
• top_k (int, opcional, padrão 0) — Número de tokens do vocabulário com maior probabilidade a serem mantidos para o filtro top-k. Se 0, o filtro top-k é desativado e todos os tokens são considerados.
• min_p (float, opcional) — Probabilidade mínima do token, que será escalada pela probabilidade do token mais provável. Deve ser um valor entre 0.0 e 1.0. Valores típicos estão na faixa de 0.01-0.2.
• repetition_penalty (float, opcional, padrão 1.0) — Float que penaliza novos tokens com base em sua presença no prompt e no texto gerado até o momento. Valores > 1.0 incentivam o modelo a usar novos tokens, enquanto valores < 1.0 incentivam o modelo a repetir tokens.
• cache_implementation (str, opcional) — Implementação do método de cache para uma geração mais rápida quando use_vllm está definido como False.
• generation_kwargs (dict[str, Any], opcional) — Argumentos de palavra-chave adicionais para passar ao GenerationConfig (se estiver usando transformers) ou SamplingParams (se estiver usando vLLM) ao amostrar as conclusões. Isso pode ser usado para personalizar ainda mais o comportamento da geração, como definir suppress_tokens, num_beams, etc. Se contiver chaves que conflitam com os outros parâmetros de geração (como min_p, top_p, etc.), eles os substituirão.

Parâmetros que controlam a aceleração da geração com vLLM

• use_vllm (bool, opcional, padrão False) — Se deve usar o vLLM para gerar completions. Se definido como True, o trainer usará o vLLM para geração em vez do padrão model.generate(). Requer que vllm esteja instalado.
• vllm_model_impl (str, opcional, padrão "vllm") — Implementação do modelo a ser usada para o vLLM. Deve ser uma das opções "transformers" ou "vllm". "transformers": Use o backend transformers para a implementação do modelo. "vllm": Use a biblioteca vllm para a implementação do modelo.
• vllm_mode (str, opcional, padrão é "colocate") — Modo a ser usado para a integração com o vLLM quando use_vllm está definido como True. Deve ser um dos valores "server" ou "colocate".
  • "server": O trainer enviará solicitações de geração para um servidor vLLM separado. Certifique-se de que um servidor vLLM está em execução (inicie com vllm serve).
  • "colocate": o vLLM será executado no mesmo processo e compartilhará as GPUs de treinamento. Isso evita a necessidade de um servidor separado, mas pode causar contenda de recursos com o treinamento.
• vllm_structured_outputs_regex (str, opcional) — Regex para saídas estruturadas do vLLM. Se None (padrão), as saídas estruturadas ficam desativadas.

Parâmetros que controlam o servidor vLLM (usados apenas quando `vllm_mode` é `"server"`)

• vllm_server_base_url (str, opcional) — URL base para o servidor vLLM (por exemplo, "http://localhost:8000"). Se fornecida, vllm_server_host e vllm_server_port são ignorados.
• vllm_server_host (str, opcional, padrão "0.0.0.0") — Host do servidor vLLM para conexão. Ignorado se vllm_server_base_url for fornecido.
• vllm_server_port (int, opcional, padrão 8000) — Porta do servidor vLLM para conexão. Ignorado se vllm_server_base_url for fornecido.
• vllm_server_timeout (float, opcional, padrão 240.0) — Duração total do tempo limite, em segundos, para aguardar que o servidor vLLM esteja ativo. Se o servidor não estiver ativo após o tempo limite, um ConnectionError será lançado.
• vllm_group_port (int, opcional, padrão 51216) — Número da porta para o grupo de atualização de pesos. Isso é usado para se comunicar com o servidor vLLM. A menos que a porta esteja ocupada, não há necessidade de alterá-la.

Parâmetros que controlam a execução do vLLM co-localizado (usados apenas quando `vllm_mode` é `"colocate"`)

• vllm_gpu_memory_utilization (float, opcional, padrão 0.55) — Controla a utilização de memória de GPU para o vLLM. Esta configuração só se aplica quando vllm_mode está definido como "colocate". Se você estiver usando vllm_mode="server", este parâmetro deve ser passado separadamente ao iniciar o servidor vLLM por meio da flag --vllm_gpu_memory_utilization.
• vllm_tensor_parallel_size (int, opcional, padrão 1) — Controla o tamanho da paralelização de tensor para o vLLM. Essa configuração só se aplica quando vllm_mode está definido como "colocate". Se você estiver usando vllm_mode="server", este parâmetro deve ser passado separadamente ao iniciar o servidor vLLM por meio da flag --vllm_tensor_parallel_size.
• vllm_enable_sleep_mode (bool, opcional, padrão False) — Ativa o modo de suspensão do vLLM para descarregar pesos/cache durante o passo do otimizador. Mantém o uso de memória da GPU baixo, mas acordar o mecanismo adiciona latência de transferência entre host e dispositivo.

Outros parâmetros

• ds3_gather_for_generation (bool, opcional, padrão True) — Esta configuração se aplica ao DeepSpeed ZeRO-3. Se habilitado, os pesos do modelo de política são reunidos para a geração, melhorando a velocidade de geração. No entanto, desabilitar esta opção permite treinar modelos que excedem a capacidade de VRAM de uma única GPU, embora com o custo de uma geração mais lenta. Desabilitar esta opção não é compatível com a geração do vLLM.
• model_init_kwargs (dict[str, Any], opcional) — Argumentos de palavra-chave para passar a AutoModelForCausalLM.from_pretrained ao instanciar o modelo a partir de uma string. O valor de revision também é usado ao carregar as classes de processamento de recompensa.
• trust_remote_code (bool, opcional, padrão False) — Se permite carregar modelos que incluem código Python personalizado do Hub. Encaminhado para from_pretrained. Também aplicado aos carregamentos de reward-model e reward-tokenizer.
• reward_weights (list[float], opcional) — Pesos para combinar múltiplas funções de recompensa. Deve corresponder ao número de funções de recompensa. Se None, todas as funções de recompensa têm pesos iguais.