Mô hình này được công bố trên HF papers vào ngày 27-03-2023 và được đóng góp cho Hugging Face Transformers vào ngày 12-05-2023.

SwiftFormer

Tổng quan

Mô hình SwiftFormer được đề xuất trong SwiftFormer: Efficient Additive Attention for Transformer-based Real-time Mobile Vision Applications bởi Abdelrahman Shaker, Muhammad Maaz, Hanoona Rasheed, Salman Khan, Ming-Hsuan Yang, Fahad Shahbaz Khan.

Bài báo SwiftFormer giới thiệu một cơ chế chú ý cộng hiệu quả mới, thay thế hiệu quả các phép nhân ma trận bậc hai trong tính toán tự chú ý bằng các phép nhân từng phần tử tuyến tính. Một loạt các mô hình có tên ‘SwiftFormer’ được xây dựng dựa trên cơ chế này, đạt hiệu suất tiên tiến về cả độ chính xác lẫn tốc độ suy luận trên thiết bị di động. Ngay cả biến thể nhỏ của chúng cũng đạt độ chính xác top-1 78,5% trên ImageNet1K với độ trễ chỉ 0,8 ms trên iPhone 14, chính xác hơn và nhanh gấp 2 lần so với MobileViT-v2.

Tóm tắt từ bài báo như sau:

Self-attention đã trở thành lựa chọn mặc định để nắm bắt ngữ cảnh toàn cục trong nhiều ứng dụng thị giác. Tuy nhiên, độ phức tạp tính toán bậc hai của nó theo độ phân giải ảnh hạn chế việc sử dụng trong các ứng dụng thời gian thực, đặc biệt là khi triển khai trên các thiết bị di động có tài nguyên hạn chế. Mặc dù các phương pháp lai đã được đề xuất để kết hợp ưu điểm của convolution và self-attention nhằm đạt được sự đánh đổi tốc độ - độ chính xác tốt hơn, các phép nhân ma trận đắt đỏ trong self-attention vẫn là nút thắt cổ chai. Trong công việc này, chúng tôi giới thiệu một cơ chế additive attention hiệu quả mới, thay thế hiệu quả các phép nhân ma trận bậc hai bằng các phép nhân từng phần tử tuyến tính. Thiết kế của chúng tôi cho thấy tương tác key-value có thể được thay thế bằng một lớp tuyến tính mà không làm giảm bất kỳ độ chính xác nào. Khác với các phương pháp tiên tiến trước đây, công thức self-attention hiệu quả của chúng tôi cho phép sử dụng nó ở tất cả các giai đoạn của mạng. Sử dụng additive attention hiệu quả do chúng tôi đề xuất, chúng tôi xây dựng một loạt các mô hình gọi là “SwiftFormer”, đạt hiệu suất tiên tiến về cả độ chính xác và tốc độ suy luận trên di động. Biến thể nhỏ của chúng tôi đạt độ chính xác top-1 78,5% trên ImageNet-1K với độ trễ chỉ 0,8 ms trên iPhone 14, chính xác hơn và nhanh gấp 2 lần so với MobileViT-v2.

Mô hình này được đóng góp bởi shehan97. Mã gốc có thể được tìm thấy tại đây.

SwiftFormerConfig

>>> from transformers import SwiftFormerConfig, SwiftFormerModel

>>> # Initializing a SwiftFormer swiftformer-base-patch16-224 style configuration
>>> configuration = SwiftFormerConfig()

>>> # Initializing a model (with random weights) from the swiftformer-base-patch16-224 style configuration
>>> model = SwiftFormerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

SwiftFormerModel

SwiftFormerForImageClassification

>>> from transformers import AutoImageProcessor, SwiftFormerForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("MBZUAI/swiftformer-xs")
>>> model = SwiftFormerForImageClassification.from_pretrained("MBZUAI/swiftformer-xs")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...