# XLSR-Wav2Vec2

## Ikhtisar

Model XLSR-Wav2Vec2 diusulkan dalam [Unsupervised Cross-Lingual Representation Learning For Speech Recognition](https://huggingface.co/papers/2006.13979) oleh Alexis Conneau, Alexei Baevski, Ronan Collobert, Abdelrahman Mohamed, Michael Auli.

Abstrak dari makalah tersebut adalah sebagai berikut:

*Kertas ini memperkenalkan XLSR yang mempelajari representasi ucapan lintas bahasa dengan pra-pelatihan satu model dari gelombang mentah ucapan dalam beberapa bahasa. Kami membangun di atas wav2vec 2.0 yang dilatih dengan menyelesaikan tugas kontras atas representasi laten ucapan yang dimasker dan secara bersama-sama mempelajari kuantisasi laten yang dibagikan di antara bahasa. Model yang dihasilkan kemudian disempurnakan pada data berlabel, dan eksperimen menunjukkan bahwa pra-pelatihan lintas bahasa secara signifikan melampaui pra-pelatihan monolingual. Pada benchmark CommonVoice, XLSR menunjukkan pengurangan tingkat kesalahan fonem relatif sebesar 72% dibandingkan hasil terbaik yang diketahui. Pada BABEL, pendekatan kami meningkatkan tingkat kesalahan kata sebesar 16% relatif dibandingkan sistem yang sebanding. Pendekatan kami memungkinkan satu model pengenalan ucapan multibahasa yang kompetitif dengan model individual yang kuat. Analisis menunjukkan bahwa representasi ucapan diskrit laten dibagikan di antara bahasa, dengan pembagian yang meningkat untuk bahasa-bahasa yang terkait. Kami berharap dapat mendorong penelitian dalam pemahaman ucapan sumber daya rendah dengan merilis XLSR-53, model besar yang dipra-latih dalam 53 bahasa.*

Kode asli dapat ditemukan [di sini](https://github.com/pytorch/fairseq/tree/master/fairseq/models/wav2vec).

Catatan: Meta (FAIR) merilis versi baru dari [Wav2Vec2-BERT 2.0](./wav2vec2-bert) - model ini telah dipretrain pada 4,5 juta jam audio. Kami sangat merekomendasikannya untuk tugas fine-tuning, misalnya sesuai dengan [panduan ini](https://huggingface.co/blog/fine-tune-w2v2-bert).

## Tips penggunaan

- XLSR-Wav2Vec2 adalah model ucapan yang menerima array float yang sesuai dengan gelombang mentah dari sinyal ucapan.
- Model XLSR-Wav2Vec2 dilatih menggunakan connectionist temporal classification (CTC) sehingga output model harus didekode menggunakan [Wav2Vec2CTCTokenizer](/docs/transformers/main/id/model_doc/wav2vec2#transformers.Wav2Vec2CTCTokenizer).

Arsitektur XLSR-Wav2Vec2 didasarkan pada model Wav2Vec2, sehingga Anda dapat merujuk ke [halaman dokumentasi Wav2Vec2](./wav2vec2).