Este modelo se publicó en HF papers el 2022-05-10 y se contribuyó a Hugging Face Transformers el 2023-06-20.

UL2

Resumen

El modelo T5 se presentó en Unifying Language Learning Paradigms por Yi Tay, Mostafa Dehghani, Vinh Q. Tran, Xavier Garcia, Dara Bahri, Tal Schuster, Huaixiu Steven Zheng, Neil Houlsby, Donald Metzler.

El resumen del artículo es el siguiente:

Los modelos preentrenados existentes suelen estar orientados a una clase particular de problemas. Hasta la fecha, no parece haber consenso sobre cuál debería ser la arquitectura y la configuración de preentrenamiento adecuadas. Este artículo presenta un marco unificado para preentrenar modelos que son universalmente efectivos en distintos conjuntos de datos y configuraciones. Comenzamos por desvincular los arquetipos arquitectónicos de los objetivos de preentrenamiento, dos conceptos que suelen confundirse. A continuación, presentamos una perspectiva generalizada y unificada de la autosupervisión en PLN y mostramos cómo diferentes objetivos de preentrenamiento pueden formularse como unos a otros y cómo la interpolación entre distintos objetivos puede ser efectiva. Luego proponemos Mixture-of-Denoisers (MoD), un objetivo de preentrenamiento que combina diversos paradigmas de preentrenamiento. Además, introducimos un concepto de cambio de modo, en el que el ajuste fino para tareas posteriores se asocia con esquemas específicos de preentrenamiento. Realizamos experimentos ablativos exhaustivos para comparar múltiples objetivos de preentrenamiento y descubrimos que nuestro método desplaza la frontera de Pareto al superar a los modelos tipo T5 y/o GPT en múltiples configuraciones diversas. Finalmente, al escalar nuestro modelo hasta 20 mil millones de parámetros, logramos un rendimiento SOTA en 50 tareas supervisadas de PLN bien establecidas, que abarcan desde la generación de lenguaje (con evaluación automática y humana), la comprensión del lenguaje, la clasificación de texto, la respuesta a preguntas, el razonamiento de sentido común, el razonamiento sobre texto largo, la anclaje de conocimiento estructurado y la recuperación de información. Nuestro modelo también obtiene resultados sólidos en el aprendizaje en contexto, superando a GPT-3 de 175 mil millones de parámetros en SuperGLUE sin ejemplos y triplicando el rendimiento de T5-XXL en la resumición con un solo ejemplo.

Este modelo fue aportado por DanielHesslow. El código original se puede encontrar aquí.

Consejos de uso

• UL2 es un modelo codificador-decodificador preentrenado en una mezcla de funciones de denoizado y ajustado fino en una serie de tareas de nivel inferior.
• UL2 tiene la misma arquitectura que T5v1.1 pero utiliza la función de activación Gated-SiLU en lugar de Gated-GELU.
• Los autores publican puntos de control de una arquitectura que se puede ver aquí

Dado que UL2 tiene la misma arquitectura que T5v1.1, consulte la página de documentación de T5 para obtener la referencia de la API, consejos, ejemplos de código y cuadernos.