Ce modèle a été publié dans HF papers le 2022-09-29 et ajouté à Hugging Face Transformers le 2022-11-18.

Transformeur d'attention de voisinage dilaté

Aperçu

DiNAT a été proposé dans Dilated Neighborhood Attention Transformer par Ali Hassani et Humphrey Shi.

Il étend NAT en ajoutant un motif d'attention de voisinage dilaté pour capturer le contexte global, et montre des améliorations de performances significatives par rapport à celui-ci.

L'abstract de l'article est le suivant :

Les Transformers deviennent rapidement l'une des architectures d'apprentissage profond les plus largement appliquées à travers les modalités, les domaines et les tâches. En vision, au-delà des efforts en cours sur les Transformers « plain », les Transformers hiérarchiques ont également suscité un intérêt considérable, grâce à leurs performances et à leur intégration aisée dans les cadres existants. Ces modèles emploient typiquement des mécanismes d'attention localisés, tels que l'attention de voisinage glissante (sliding-window Neighborhood Attention, NA) ou l'auto-attention à fenêtre décalée (Shifted Window Self Attention) du Swin Transformer. Bien qu'efficaces pour réduire la complexité quadratique de l'auto-attention, l'attention locale affaiblit deux des propriétés les plus souhaitables de l'auto-attention : la modélisation des dépendances à longue portée et le champ récepteur global. Dans cet article, nous introduisons la Dilated Neighborhood Attention (DiNA), une extension naturelle, flexible et efficace de la NA, capable de capturer un contexte plus global et d'élargir exponentiellement les champs récepteurs sans coût supplémentaire. L'attention locale de la NA et l'attention globale creuse (sparse) de la DiNA se complètent mutuellement ; nous introduisons donc le Dilated Neighborhood Attention Transformer (DiNAT), un nouveau Transformer hiérarchique pour la vision construit sur les deux. Les variantes de DiNAT offrent des améliorations significatives par rapport à des références fortes telles que NAT, Swin et ConvNeXt. Notre grand modèle est plus rapide et devance son équivalent Swin de 1,5 % de box AP en détection d'objets COCO, de 1,3 % de mask AP en segmentation d'instances COCO et de 1,1 % de mIoU en segmentation sémantique ADE20K. Associé à de nouveaux cadres, notre grande variante est le nouveau modèle d'état de l'art en segmentation panoptique sur COCO (58,2 PQ) et ADE20K (48,5 PQ), ainsi qu'en segmentation d'instances sur Cityscapes (44,5 AP) et ADE20K (35,4 AP) (sans données supplémentaires). Il égale également les modèles spécialisés d'état de l'art en segmentation sémantique sur ADE20K (58,2 mIoU) et se classe deuxième sur Cityscapes (84,5 mIoU) (sans données supplémentaires).

Ce modèle a été contribué par Ali Hassani. Le code d'origine peut être trouvé ici.

Conseils d'utilisation

DiNAT peut être utilisé comme backbone. Lorsque output_hidden_states = True, il renvoie à la fois hidden_states et reshaped_hidden_states. Les reshaped_hidden_states ont une forme de (batch, num_channels, height, width) plutôt que (batch_size, height, width, num_channels).

Remarques :

• DiNAT dépend de l’implémentation de Neighborhood Attention et Dilated Neighborhood Attention par NATTEN. Vous pouvez l’installer à l’aide de roues préconstruites pour Linux en consultant shi-labs.com/natten, ou en le compilant sur votre système en exécutant pip install natten. Notez que cette dernière option prendra probablement du temps à compiler. NATTEN ne prend pas encore en charge les appareils Windows.
• La taille de patch 4 est actuellement la seule prise en charge.

Ressources

Une liste de ressources officielles Hugging Face et de la communauté (indiquées par 🌎) pour vous aider à démarrer avec DiNAT.

• DinatForImageClassification est pris en charge par ce notebook.
• Voir aussi : Guide de la tâche de classification d'images

Si vous souhaitez soumettre une ressource pour qu'elle soit incluse ici, n'hésitez pas à ouvrir une Pull Request et nous la examinerons ! La ressource devrait idéalement démontrer quelque chose de nouveau plutôt que de dupliquer une ressource existante.

DinatConfig

>>> from transformers import DinatConfig, DinatModel

>>> # Initializing a Dinat shi-labs/dinat-mini-in1k-224 style configuration
>>> configuration = DinatConfig()

>>> # Initializing a model (with random weights) from the shi-labs/dinat-mini-in1k-224 style configuration
>>> model = DinatModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

DinatModel

DinatForImageClassification

>>> from transformers import AutoImageProcessor, DinatForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("shi-labs/dinat-mini-in1k-224")
>>> model = DinatForImageClassification.from_pretrained("shi-labs/dinat-mini-in1k-224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...