Model ini dipublikasikan di HF papers pada 2020-02-12 dan disumbangkan ke Hugging Face Transformers pada 2023-06-20.

T5v1.1

Ikhtisar

T5v1.1 dirilis di repositori google-research/text-to-text-transfer-transformer oleh Colin Raffel dkk. Ini adalah versi yang ditingkatkan dari model T5 asli. Model ini disumbangkan oleh patrickvonplaten. Kode aslinya dapat ditemukan di sini.

Tips penggunaan

Seseorang dapat langsung memasukkan bobot T5v1.1 ke dalam model T5, seperti berikut:

from transformers import T5ForConditionalGeneration


model = T5ForConditionalGeneration.from_pretrained("google/t5-v1_1-base", device_map="auto")

Versi T5 1.1 mencakup peningkatan berikut dibandingkan dengan model T5 asli:

• Aktivasi GEGLU pada lapisan tersembunyi feed-forward, alih-alih ReLU. Lihat makalah ini.

• Dropout dimatikan selama pre-training (meningkatkan kualitas). Dropout harus diaktifkan kembali selama fine-tuning.

• Dilatih sebelumnya hanya pada C4 tanpa mencampurkan tugas turunan.

• Tidak ada pembagian parameter antara lapisan embedding dan lapisan classifier.

• “xl” dan “xxl” menggantikan “3B” dan “11B”. Bentuk modelnya sedikit berbeda - d_model lebih besar dan num_heads serta d_ff lebih kecil.

Catatan: T5 Version 1.1 hanya dilatih sebelumnya pada C4 tanpa pelatihan berlabel. Oleh karena itu, model ini harus melalui fine-tuning sebelum dapat digunakan untuk tugas turunan, berbeda dengan model T5 asli. Karena t5v1.1 dilatih sebelumnya secara tidak berlabel, tidak ada keuntungan nyata untuk menggunakan prefiks tugas saat fine-tuning tugas tunggal. Jika Anda melakukan fine-tuning multi-tugas, Anda sebaiknya menggunakan prefiks.

Google telah merilis varian berikut:

• google/t5-v1_1-small

• google/t5-v1_1-base

• google/t5-v1_1-large

• google/t5-v1_1-xl

• google/t5-v1_1-xxl.

Lihat halaman dokumentasi T5 untuk semua referensi API, tips, contoh kode, dan notebook.