Ce modèle a été publié dans HF papers le 2021-11-17 et ajouté à Hugging Face Transformers le 2023-06-20.

XLS-R

Aperçu

Le modèle XLS-R a été proposé dans XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale par Arun Babu, Changhan Wang, Andros Tjandra, Kushal Lakhotia, Qiantong Xu, Naman Goyal, Kritika Singh, Patrick von Platen, Yatharth Saraf, Juan Pino, Alexei Baevski, Alexis Conneau, Michael Auli.

L'abstract de l'article est le suivant :

Cet article présente XLS-R, un modèle à grande échelle pour l'apprentissage de représentations vocales interlinguistiques basé sur wav2vec 2.0. Nous entraînons des modèles comportant jusqu'à 2 milliards de paramètres sur près de 500 000 heures d'audio vocal public dans 128 langues, soit un ordre de grandeur de plus de données publiques que le plus grand travail antérieur connu. Notre évaluation couvre une large gamme de tâches, de domaines, de régimes de données et de langues, à la fois à ressources élevées et faibles. Sur le benchmark de traduction vocale CoVoST-2, nous améliorons l'état de l'art précédent d'une moyenne de 7,4 BLEU sur 21 directions de traduction vers l'anglais. Pour la reconnaissance vocale, XLS-R surpasse le meilleur travail antérieur connu sur BABEL, MLS, CommonVoice ainsi que VoxPopuli, réduisant les taux d'erreur de 14 à 34 % en moyenne en relatif. XLS-R établit également un nouvel état de l'art sur VoxLingua107 pour l'identification de la langue. De plus, nous montrons qu'avec une taille de modèle suffisante, l'entraînement préliminaire interlinguistique peut surpasser l'entraînement préliminaire uniquement en anglais lors de la traduction de la parole anglaise vers d'autres langues, un contexte qui favorise l'entraînement monolingue. Nous espérons que XLS-R contribuera à améliorer les tâches de traitement de la parole pour de nombreuses autres langues du monde.

Les points de contrôle pertinents peuvent être trouvés sous https://huggingface.co/models?other=xls_r.

Le code original peut être trouvé ici.

Conseils d'utilisation

• XLS-R est un modèle de parole qui accepte un tableau de nombres à virgule flottante correspondant à la forme d’onde brute du signal de parole.
• Le modèle XLS-R a été entraîné à l'aide de la classification temporelle connexionniste (CTC), il est donc nécessaire de décoder sa sortie à l'aide de Wav2Vec2CTCTokenizer.

L’architecture de XLS-R est basée sur le modèle Wav2Vec2, consultez la page de documentation de Wav2Vec2 pour la référence de l’API.