Bu model 2022-05-10 tarihinde HF papers'ta yayımlanmış ve 2023-06-20 tarihinde Hugging Face Transformers'a katkıda bulunmuştur.

UL2

Genel Bakış

T5 modeli, Yi Tay, Mostafa Dehghani, Vinh Q. Tran, Xavier Garcia, Dara Bahri, Tal Schuster, Huaixiu Steven Zheng, Neil Houlsby ve Donald Metzler tarafından Unifying Language Learning Paradigms makalesinde tanıtılmıştır.

Makalenin özeti aşağıdaki gibidir:

Mevcut önceden eğitilmiş modeller genellikle belirli bir problem sınıfına yönelik olarak tasarlanmıştır. Bugüne kadar, doğru mimarinin ve ön eğitim kurulumunun ne olması gerektiği konusunda bir uzlaşıya varılamamış gibi görünmektedir. Bu makale, veri setleri ve kurulumlar arasında evrensel olarak etkili modelleri ön eğitmek için birleşik bir çerçeve sunar. Mimari arketipler ile ön eğitim amaçlarını — yaygın olarak karıştırılan iki kavramı — ayırt ederek başlarız. Ardından, NLP'de öz-denetim için genel ve birleşik bir bakış açısı sunar ve farklı ön eğitim amaçlarının birbirine nasıl dönüştürülebileceğini ve farklı amaçlar arasında interpolasyonun neden etkili olabileceğini gösteririz. Daha sonra, çeşitli ön eğitim paradigmalarını bir araya getiren bir ön eğitim amacı olan Mixture-of-Denoisers (MoD)'u öneririz. Ayrıca, aşağı akış ince ayarının belirli ön eğitim şemalarıyla ilişkilendirildiği bir mod değiştirme kavramı tanıtıyoruz. Birden fazla ön eğitim amacını karşılaştırmak için kapsamlı ablatif deneyler gerçekleştiriyor ve yöntemimizin, çeşitli farklı kurulumlarda T5 ve/veya GPT benzeri modelleri geride bırakarak Pareto sınırını öne taşıdığını buluyoruz. Son olarak, modelimizi 20B parametreye ölçekleyerek, dil üretimi (otomatik ve insan değerlendirmesi ile), dil anlama, metin sınıflandırma, soru-cevap, ortak duygu çıkarımı, uzun metin çıkarımı, yapılandırılmış bilgi temellendirme ve bilgi geri getirme dahil olmak üzere 50 iyi kurulmuş denetimli NLP görevinde SOTA performansına ulaşıyoruz. Modelimiz, bağlam içi öğrenmede de güçlü sonuçlar elde ediyor; sıfır atış SuperGLUE'da 175B GPT-3'ü geride bırakıyor ve tek atış özetlemede T5-XXL'nin performansını üç katına çıkarıyor.

Bu model DanielHesslow tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.

Kullanım ipuçları

• UL2, gürültü azaltma işlevlerinin bir karışımı üzerinde ön eğitilmiş ve bir dizi aşağı akış görevinde ince ayarlanmış bir kodlayıcı-çözücü modelidir.
• UL2, T5v1.1 ile aynı mimariye sahiptir ancak Gated-GELU yerine Gated-SiLU aktivasyon fonksiyonunu kullanır.
• Yazarlar, burada görülebilen bir mimarinin kontrol noktalarını yayımlar

UL2, T5v1.1 ile aynı mimariye sahip olduğundan, API referansı, ipuçları, kod örnekleri ve defterler için T5'in dokümantasyon sayfasına bakın.