Transformers documentation

CPU

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

CPU

Las CPU ejecutan modelos de Transformers con la cadena de dispositivo cpu, sin un acelerador. Funcionan para inferencia y entrenamiento cuando no hay GPUs disponibles, o cuando se desea una configuración rentable.

Ejecutar inferencia

Los modelos se cargan en la CPU de forma predeterminada si no se pasa device_map, y pipeline() utiliza la CPU cuando no hay un acelerador disponible. Pasa device_map="cpu" o device="cpu" para usar la CPU en una máquina que también cuenta con un acelerador.

from transformers import pipeline

generator = pipeline("text-generation", model="Qwen/Qwen3-0.6B", device="cpu")
print(generator("CPUs are", max_new_tokens=50, do_sample=False)[0]["generated_text"])

Entrenar con Trainer

Las CPU con soporte para bf16, como los procesadores recientes de Intel y AMD, pueden usar el entrenamiento de precisión mixta bf16 con AMP de PyTorch, lo que reduce el uso de memoria y acelera el entrenamiento.

Los ejemplos a continuación cubren tres configuraciones, desde una sola CPU hasta varios equipos cuando una sola CPU es demasiado lenta:

  • una sola CPU
  • varios procesos en una máquina (uno por cada socket de CPU)
  • varios procesos en varias máquinas

Los ejemplos de nodo único y multinodo inician procesos con mpirun de Intel MPI, parte del Intel oneAPI HPC Toolkit, y Trainer ejecuta DDP sobre el backend gloo.

CPU única
CPU distribuido (nodo único)
CPU distribuido (varios nodos)

Establezca bf16=True y use_cpu=True en TrainingArguments, o pase --bf16 y --use_cpu a un script de entrenamiento. Prefiera bf16 sobre fp16 en CPU porque es más estable numéricamente.

from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir="./outputs",
    bf16=True,
    use_cpu=True,
)

Ajustar el rendimiento de la CPU

Precargue un asignador de memoria más rápido y el tiempo de ejecución OpenMP de Intel para reducir la sobrecarga en el entrenamiento en CPU. Instale google-perftools (para libtcmalloc) y el paquete de Python intel-openmp (para libiomp5), y luego agregue ambas bibliotecas a la variable de entorno LD_PRELOAD antes de iniciar el entrenamiento.

Establezca OMP_NUM_THREADS en el número de núcleos que cada proceso puede utilizar. En un contenedor o un trabajo de clúster con límites de CPU, ese es el número de unidades de CPU asignadas, por lo que deje algunos núcleos sin asignar para los procesos del sistema.

Próximos pasos

Update on GitHub