Parámetros

• images (`) -- Image to preprocess. Expects a single or batch of images with pixel values ranging from 0 to 255. If passing in images with pixel values between 0 and 1, set do_rescale=False`.
• do_convert_rgb (bool, kwargs, opcional) — Si se debe convertir la imagen a RGB.
• do_resize (bool, kwargs, opcional) — Si se debe redimensionar la imagen.
• size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Describe las dimensiones de entrada máximas del modelo.
• default_to_square (bool, kwargs, opcional) — Si se debe usar una imagen cuadrada por defecto al redimensionar, si size es un int.
• crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Tamaño de la imagen de salida tras aplicar center_crop.
• resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Filtro de remuestreo a utilizar si se redimensiona la imagen. Puede ser uno de los enum PILImageResampling. Solo tiene efecto si do_resize está establecido en True.
• do_rescale (bool, kwargs, opcional) — Si se debe reescalar la imagen.
• rescale_factor (float, kwargs, opcional) — Factor de reescalado para reescalar la imagen si do_rescale está establecido en True.
• do_normalize (bool, kwargs, opcional) — Si se debe normalizar la imagen.
• image_mean (Union[float, list[float], tuple[float, ...]], kwargs, opcional) — Media de la imagen a utilizar para la normalización. Solo tiene efecto si do_normalize está establecido en True.
• image_std (Union[float, list[float], tuple[float, ...]], kwargs, opcional) — Desviación estándar de la imagen a utilizar para la normalización. Solo tiene efecto si do_normalize está establecido en True.
• do_pad (bool, kwargs, opcional) — Indica si se debe aplicar relleno a la imagen. El relleno se realiza hasta el tamaño más grande del lote o hasta un tamaño cuadrado fijo por imagen. La estrategia exacta de relleno depende del modelo.
• pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — El tamaño en {"height": int, "width" int} al que se rellenan las imágenes. Debe ser mayor que cualquier tamaño de imagen proporcionado para el preprocesamiento. Si no se proporciona pad_size, las imágenes se rellenarán hasta la mayor altura y anchura del lote. Se aplica solo cuando do_pad=True.
• do_center_crop (bool, kwargs, opcional) — Si se debe recortar la imagen centrada.
• data_format (Union[str, ~image_utils.ChannelDimension], kwargs, opcional) — Solo se admite ChannelDimension.FIRST. Se añadió para garantizar la compatibilidad con los procesadores lentos.
• input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, opcional) — El formato de la dimensión de canales para la imagen de entrada. Si no se establece, el formato de la dimensión de canales se infiere a partir de la imagen de entrada. Puede ser uno de:
  • "channels_first" o ChannelDimension.FIRST: imagen en formato (num_channels, height, width).
  • "channels_last" o ChannelDimension.LAST: imagen en formato (altura, ancho, num_canales).
  • "none" o ChannelDimension.NONE: imagen en formato (altura, ancho).
• device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — El dispositivo en el que se procesarán los videos. Si no se establece, el dispositivo se infiere a partir de los videos de entrada.
• return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Devuelve tensores apilados si se establece en 'pt'; en caso contrario, devuelve una lista de tensores.
• disable_grouping (bool, kwargs, opcional) — Si se debe deshabilitar el agrupamiento de imágenes por tamaño para procesarlas de forma individual y no en lotes. Si es None, se establecerá en True si las imágenes están en CPU, y en False en caso contrario. Esta elección se basa en observaciones empíricas, como se detalla aquí: https://github.com/huggingface/transformers/pull/38157
• image_seq_length (int, kwargs, opcional) — El número de tokens de imagen que se utilizarán para cada imagen en la entrada. Añadido por compatibilidad con versiones anteriores, pero en futuros modelos debería establecerse como un atributo del procesador.
• patch_size (int, kwargs, opcional, valor predeterminado 16) — Lado, en píxeles, de un parche de la torre visual.
• downsample_ratio (float, kwargs, opcional, valor predeterminado 0.5) — Relación de reducción espacial mediante pixel-shuffle aplicada por el modelo; cada lado de la cuadrícula de parches es un múltiplo de su recíproco.
• min_num_patches (int, kwargs, opcional, valor predeterminado 1024) — Número mínimo de parches de patch_size a los que se redimensiona una imagen.
• max_num_patches (int, kwargs, opcional, valor predeterminado 13312) — Número máximo de parches de patch_size a los que se redimensiona una imagen; 0 desactiva el límite.
• max_model_len (int, kwargs, opcional, valor predeterminado 16384) — Longitud de contexto del modelo de lenguaje, que limita el presupuesto de parches de las imágenes en una sola llamada.

Parámetros

• input_ids (torch.LongTensor de forma (batch_size, sequence_length), opcional) — Índices de los tokens de la secuencia de entrada en el vocabulario. El relleno se ignorará de forma predeterminada.

  Los índices se pueden obtener usando AutoTokenizer. Consulte PreTrainedTokenizer.encode() y PreTrainedTokenizer.call() para más detalles.

  ¿Qué son los IDs de entrada?

• pixel_values (torch.Tensor de forma (total_patches, num_channels * patch_size**2), opcional) — Parches aplanados de todas las imágenes, concatenados, tal como los devuelve el procesador de imágenes.
• image_grid_hw (torch.LongTensor de forma (num_images, 2), opcional) — Cuadrícula de parches (height, width) de cada imagen en pixel_values.
• pixel_values_videos (torch.Tensor de forma (batch_size, num_frames, num_channels, frame_size, frame_size), opcional) — Los tensores correspondientes al video de entrada. Los valores de píxel para los videos se pueden obtener utilizando NemotronH_Omni_Reasoning_V3VideoProcessor. Consulte NemotronH_Omni_Reasoning_V3VideoProcessor.call() para más detalles (NemotronH_Omni_Reasoning_V3Processor utiliza NemotronH_Omni_Reasoning_V3VideoProcessor para procesar videos).
• input_features (torch.Tensor de forma (batch_size, num_frames, num_mel_bins), opcional) — Características Mel generadas por el procesador, codificadas y distribuidas sobre los tokens de marcador de posición de audio.
• input_features_mask (torch.Tensor de forma (batch_size, num_frames), opcional) — Máscara que marca los cuadros mel reales de cada clip relleno.
• attention_mask (torch.Tensor de forma (batch_size, sequence_length), opcional) — Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de máscara seleccionados en [0, 1]:
  • 1 para los tokens que no están enmascarados,
  • 0 para los tokens que están enmascarados.

  ¿Qué son las máscaras de atención?

• position_ids (torch.LongTensor de forma (batch_size, sequence_length), opcional) — Índices de las posiciones de los tokens de cada secuencia de entrada en los embeddings de posición. Seleccionados en el rango [0, config.n_positions - 1].

  ¿Qué son los IDs de posición?

• past_key_values (~cache_utils.Cache, opcional) — Estados ocultos precalculados (claves y valores en los bloques de autoatención y en los bloques de atención cruzada) que se pueden usar para acelerar la decodificación secuencial. Esto generalmente consiste en la past_key_values devuelta por el modelo en una etapa anterior de la decodificación, cuando use_cache=True o config.use_cache=True.

  Solo se permite una instancia de Cache como entrada, consulte nuestra guía de caché kv. Si no se pasan past_key_values, DynamicCache se inicializará de forma predeterminada.

  El modelo generará el mismo formato de caché que se proporciona como entrada.

  Si se utilizan past_key_values, se espera que el usuario introduzca únicamente los input_ids no procesados (aquellos que no tienen sus estados de clave y valor pasados proporcionados a este modelo) con forma (batch_size, unprocessed_length) en lugar de todos los input_ids con forma (batch_size, sequence_length).

• labels (torch.LongTensor de forma (batch_size, sequence_length), opcional) — Etiquetas para calcular la pérdida de modelado de lenguaje enmascarado. Los índices deben estar en [0, ..., config.vocab_size] o ser -100 (ver la docstring de input_ids). Los tokens con índices establecidos en -100 se ignoran (enmascarados); la pérdida solo se calcula para los tokens con etiquetas en [0, ..., config.vocab_size].
• inputs_embeds (torch.Tensor de forma (batch_size, sequence_length, hidden_size), opcional) — Opcionalmente, en lugar de pasar input_ids, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices de input_ids en los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo.
• use_cache (bool, opcional) — Si se establece en True, se devuelven los estados de clave-valor de past_key_values y pueden usarse para acelerar la decodificación (ver past_key_values).
• mm_encoder_outputs (dict[str, ~modeling_outputs.BaseModelOutputWithPooling], opcional) — Diccionario donde las claves son las modalidades admitidas y los valores son las salidas codificadas para esa modalidad. Cada salida codificada es una tupla que consiste en (pooler_output, opcional: last_hidden_states, opcional: hidden_states, opcional: attentions) pooler_output de forma (batch_size, sequence_length, hidden_size), opcional) es una secuencia de características multimodales del codificador fusionadas en las incrustaciones de texto.

Parámetros

• inputs (torch.Tensor de forma variable según la modalidad, opcional) — La secuencia utilizada como indicación para la generación o como entrada del modelo para el codificador. Si es None, el método la inicializa con bos_token_id y un tamaño de lote de 1. Para modelos solo de decodificador, inputs debe estar en el formato de input_ids. Para modelos codificador-decodificador, inputs puede representar cualquiera de input_ids, input_values, input_features o pixel_values.
• generation_config (GenerationConfig, opcional) — La configuración de generación que se utilizará como parametrización base para la llamada de generación. Los **kwargs pasados a generate que coincidan con los atributos de generation_config los sobrescribirán. Si no se proporciona generation_config, se utilizará el valor predeterminado, que tiene la siguiente prioridad de carga: 1) desde el archivo de modelo generation_config.json, si existe; 2) desde la configuración del modelo. Tenga en cuenta que los parámetros no especificados heredarán los valores predeterminados de GenerationConfig, cuya documentación debe consultarse para parametrizar la generación.
• logits_processor (LogitsProcessorList, opcional) — Procesadores de logits personalizados que complementan los procesadores de logits predeterminados creados a partir de los argumentos y la configuración de generación. Si se pasa un procesador de logits que ya fue creado con los argumentos o una configuración de generación, se lanza un error. Esta función está destinada a usuarios avanzados.
• stopping_criteria (StoppingCriteriaList, opcional) — Criterios de parada personalizados que complementan los criterios de parada predeterminados creados a partir de los argumentos y una configuración de generación. Si se pasa un criterio de parada que ya fue creado con los argumentos o una configuración de generación, se lanza un error. Si su criterio de parada depende de la entrada scores, asegúrese de pasar return_dict_in_generate=True, output_scores=True a generate. Esta función está destinada a usuarios avanzados.
• prefix_allowed_tokens_fn (Callable[[int, torch.Tensor], list[int]], opcional) — Si se proporciona, esta función restringe la búsqueda por haz a los tokens permitidos en cada paso. Si no se proporciona, no se aplica ninguna restricción. Esta función toma 2 argumentos: el ID del lote batch_id y input_ids. Debe devolver una lista con los tokens permitidos para el siguiente paso de generación condicionado al ID del lote batch_id y a los tokens generados previamente inputs_ids. Este argumento es útil para la generación condicionada al prefijo, tal como se describe en Autoregressive Entity Retrieval.
• synced_gpus (bool, opcional) — Si se debe continuar ejecutando el bucle while hasta max_length. A menos que se sobrescriba, esta bandera se establecerá en True si se usa FullyShardedDataParallel o DeepSpeed ZeRO Stage 3 con varias GPUs para evitar bloqueos si una GPU termina de generar antes que las demás. De lo contrario, el valor predeterminado es False.
• assistant_model (PreTrainedModel, opcional) — Un modelo asistente que se puede usar para acelerar la generación. El modelo asistente debe tener exactamente el mismo tokenizer. La aceleración se logra cuando la predicción de tokens candidatos con el modelo asistente es mucho más rápida que ejecutar la generación con el modelo desde el que se llama a generate. Por lo tanto, el modelo asistente debe ser mucho más pequeño.
• streamer (BaseStreamer, opcional) — Objeto que se utilizará para transmitir las secuencias generadas. Los tokens generados se pasan a través de streamer.put(token_ids) y el objeto responsable de cualquier procesamiento adicional.
• negative_prompt_ids (torch.LongTensor de forma (batch_size, sequence_length), opcional) — El prompt negativo necesario para algunos procesadores, como CFG. El tamaño del lote debe coincidir con el tamaño del lote de entrada. Esta es una función experimental, sujeta a cambios que rompan la API en versiones futuras.
• negative_prompt_attention_mask (torch.LongTensor de forma (batch_size, sequence_length), opcional) — Attention_mask para negative_prompt_ids.
• custom_generate (str o Callable, opcional) — Una de las siguientes opciones:
  • str (nombre del repositorio de Hugging Face Hub): ejecuta la función personalizada generate definida en custom_generate/generate.py de ese repositorio en lugar del método estándar generate. El repositorio reemplaza por completo la lógica de generación, y el tipo de retorno puede diferir.
  • str (ruta del repositorio local): igual que lo anterior, pero desde una ruta local. Los directorios locales también requieren trust_remote_code=True porque se ejecuta el custom_generate/generate.py local.
  • Callable: generate ejecutará los pasos habituales de preparación de la entrada y, a continuación, llamará al callable proporcionado para ejecutar el bucle de decodificación. Para obtener más información, consulte la documentación.
• kwargs (dict[str, Any], opcional) — Parametrización ad hoc de generation_config y/o kwargs adicionales específicos del modelo que se reenviarán a la función forward del modelo. Si el modelo es un modelo encoder-decoder, los kwargs específicos del encoder no deben tener prefijo y los kwargs específicos del decoder deben tener el prefijo decoder_.