Ce modèle a été contribué à Hugging Face Transformers le 2024-12-17.

Falcon3

Aperçu

Falcon3 représente une évolution naturelle des versions précédentes, en mettant l’accent sur l’expansion des capacités des modèles en sciences, mathématiques et code. Cette itération comprend cinq modèles de base : Falcon3-1B-Base, Falcon3-3B-Base, Falcon3-Mamba-7B-Base, Falcon3-7B-Base et Falcon3-10B-Base. Lors du développement de ces modèles, nous avons intégré plusieurs innovations clés visant à améliorer les performances des modèles tout en réduisant les coûts d’entraînement :

Un seul pré-entraînement : nous avons mené une unique exécution de pré-entraînement à grande échelle sur le modèle 7B, en utilisant 2048 puces GPU H100, en exploitant 14 billions de tokens issus de données web, de code, de STEM et de données multilingues de haute qualité soigneusement sélectionnées. Mise à l'échelle de la profondeur pour un raisonnement amélioré : s'appuyant sur des études récentes sur les effets de la profondeur des modèles, nous avons mis à l'échelle le modèle 7B vers un modèle de 10B paramètres en dupliquant les couches redondantes et en poursuivant le pré-entraînement avec 2TT de données de haute qualité. Cela a donné lieu à Falcon3-10B-Base, qui atteint des performances zero-shot et few-shot de l'état de l'art pour les modèles de moins de 13B paramètres. Distillation de connaissances pour de meilleurs modèles minuscules : afin de fournir des alternatives compactes et efficaces, nous avons développé Falcon3-1B-Base et Falcon3-3B-Base en exploitant des techniques de pruning et de distillation de connaissances, en utilisant moins de 100GT de données de haute qualité soigneusement sélectionnées, redéfinissant ainsi l'efficacité du pré-entraînement.

Ressources

• Article de blog
• Modèles sur Huggingface