# Transformers

    

Transformers sert de cadre de définition des modèles pour les modèles d'apprentissage automatique de pointe en traitement du texte, vision par ordinateur, audio, vidéo et modèles multimodaux, pour l'inférence comme pour l'entraînement.

Elle centralise la définition du modèle afin que celle-ci fasse l’objet d’un consensus à travers l’écosystème. `transformers` constitue le pivot entre les frameworks : si une définition de modèle est prise en charge, elle sera compatible avec la majorité des frameworks d’entraînement (Axolotl, Unsloth, DeepSpeed, FSDP, PyTorch-Lightning, ...), des moteurs d’inférence (vLLM, SGLang, TGI, ...) et des bibliothèques de modélisation connexes (llama.cpp, mlx, ...) qui exploitent la définition du modèle issue de `transformers`.

Nous nous engageons à soutenir le développement de nouveaux modèles de pointe et à démocratiser leur utilisation en veillant à ce que leur définition soit simple, personnalisable et efficace.

Il existe plus d'1 million de [points de contrôle de modèles](https://huggingface.co/models?library=transformers&sort=trending) Transformers sur le [Hugging Face Hub](https://hg.matlab.runm/models) que vous pouvez utiliser.

Explorez le [Hub](https://hg.matlab.runm/) dès aujourd'hui pour trouver un modèle et utilisez Transformers pour vous lancer immédiatement.

Explorez la [Chronologie des modèles](./models_timeline) pour découvrir les dernières architectures de modèles de texte, de vision, d'audio et multimodales dans Transformers.

## Fonctionnalités

Transformers fournit tout ce dont vous avez besoin pour l'inférence ou l'entraînement avec des modèles pré-entraînés de pointe. Parmi les principales fonctionnalités, on trouve :

- [Pipeline](./pipeline_tutorial) : classe d’inférence simple et optimisée pour de nombreuses tâches d’apprentissage automatique, telles que la génération de texte, la segmentation d’images, la reconnaissance vocale automatique, la réponse à des questions sur des documents, et bien d’autres.
- [Trainer](./trainer) : un formateur complet qui prend en charge des fonctionnalités telles que la précision mixte, torch.compile et FlashAttention pour l’entraînement et l’entraînement distribué de modèles PyTorch.
- [generate](./llm_tutorial) : Génération de texte rapide avec de grands modèles de langage (LLM) et des modèles de vision-langage (VLM), incluant la prise en charge du streaming et de plusieurs stratégies de décodage.

## Conception

> [!TIP]
> Lisez notre [Philosophie](./philosophy) pour en savoir plus sur les principes de conception de Transformers.

Transformers est conçu pour les développeurs, les ingénieurs en apprentissage automatique et les chercheurs. Ses principaux principes de conception sont les suivants :

1. Rapide et facile à utiliser : chaque modèle est implémenté à partir de seulement trois classes principales (configuration, modèle et préprocesseur) et peut être utilisé rapidement pour l'inférence ou l'entraînement avec [Pipeline](/docs/transformers/v5.23.0/fr/main_classes/pipelines#transformers.Pipeline) ou [Trainer](/docs/transformers/v5.23.0/fr/main_classes/trainer#transformers.Trainer).
2. Modèles pré-entraînés : Réduisez votre empreinte carbone, vos coûts de calcul et votre temps de traitement en utilisant un modèle pré-entraîné plutôt qu’en entraînant un modèle entièrement nouveau. Chaque modèle pré-entraîné est reproduit aussi fidèlement que possible par rapport au modèle d’origine et offre des performances de pointe.

  
      
  

## Apprendre

Si vous débutez avec Transformers ou si vous souhaitez en savoir plus sur les modèles de type transformer, nous vous recommandons de commencer par le [LLM course](https://huggingface.co/learn/llm-course/chapter1/1?fw=pt). Ce cours complet couvre tout, des fondamentaux sur le fonctionnement des modèles de type transformer jusqu’à des applications pratiques sur diverses tâches. Vous apprendrez le flux de travail complet, de la curation de jeux de données de haute qualité au fine-tuning de grands modèles de langage et à l’implémentation de capacités de raisonnement. Le cours contient à la fois des exercices théoriques et pratiques pour acquérir des connaissances fondamentales solides sur les modèles de type transformer au fil de votre apprentissage.

