이 모델은 2025-12-17에 Hugging Face Transformers에 기여되었습니다. 이 모델은 발표 예정

Pixio

Pixio는 ViT를 특징 추출기로 사용하여 깊이 추정, 의미론적 분할, 피드포워드 3D 재구성, 로봇공학, 이미지 분류와 같은 다양한 다운스트림 작업을 수행하는 비전 파운데이션 모델입니다. Masked Autoencoder(MAE) 사전 학습 프레임워크를 기반으로 하며, 다음과 같은 4가지 최소하지만 핵심적인 업데이트가 적용되었습니다: 1) 더 깊은 디코더, 2) 더 큰 마스킹 그라놀라리티, 3) 더 많은 클래스 토큰, 4) 웹 규모로 큐레이션된 학습 데이터.

모든 원본 Pixio 체크포인트는 Pixio 컬렉션에서 찾을 수 있습니다.

아래 예제는 AutoModel 클래스를 사용하여 이미지 임베딩을 얻는 방법을 보여줍니다.

import requests
from PIL import Image

from transformers import AutoImageProcessor, AutoModel


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained("facebook/pixio-vith16")
model = AutoModel.from_pretrained("facebook/pixio-vith16", device_map="auto")

inputs = processor(images=image, return_tensors="pt").to(model.device)
outputs = model(**inputs)
features_norm = outputs.last_hidden_state # class tokens + patch tokens after last LayerNorm
features = outputs.hidden_states[-1] # class tokens + patch tokens before last LayerNorm

The input is a single word "Notes". 참고

• 아래 예제는 출력 텐서를 다음과 같이 분할하는 방법을 보여줍니다.

  • 이미지 전체에 대한 글로벌 임베딩의 집합으로, 일반적으로 CLS 토큰이라고 불리며 분류 및 검색에 유용합니다. 평균을 내는 것(권장) 또는 채널 차원 방향으로 연결하는 것 중 하나를 사용할 수 있습니다.
  • 입력 이미지의 각 16x16 패치에 해당하는 로컬 임베딩의 집합으로, 깊이 추정 및 의미론적 분할과 같은 밀집(dense) 작업에 유용합니다.
  복사됨

  from transformers import AutoImageProcessor, AutoModel
  from PIL import Image
  import requests
  
  url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
  image = Image.open(requests.get(url, stream=True).raw)
  print(image.height, image.width)  # [480, 640]
  
  processor = AutoImageProcessor.from_pretrained('facebook/pixio-vith16')
  model = AutoModel.from_pretrained('facebook/pixio-vith16', device_map="auto")
  patch_size = model.config.patch_size
  
  inputs = processor(images=image, return_tensors="pt").to(model.device)
  print(inputs.pixel_values.shape)  # [1, 3, 256, 256]
  batch_size, rgb, img_height, img_width = inputs.pixel_values.shape
  num_patches_height, num_patches_width = img_height // patch_size, img_width // patch_size
  num_patches_flat = num_patches_height * num_patches_width
  
  outputs = model(**inputs)
  last_hidden_states = outputs.last_hidden_state
  print(last_hidden_states.shape)  # [1, 8 + 256, 1280]
  assert last_hidden_states.shape == (batch_size, model.config.n_cls_tokens + num_patches_flat, model.config.hidden_size)
  
  cls_tokens = last_hidden_states[:, :model.config.n_cls_tokens, :]
  patch_features = last_hidden_states[:, model.config.n_cls_tokens:, :].unflatten(1, (num_patches_height, num_patches_width))

• torch.compile를 사용하여 추론 속도를 높입니다.

  복사됨

  import torch
  from transformers import AutoImageProcessor, AutoModel
  from PIL import Image
  import requests
  
  url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
  image = Image.open(requests.get(url, stream=True).raw)
  
  processor = AutoImageProcessor.from_pretrained('facebook/pixio-vith16')
  model = AutoModel.from_pretrained('facebook/pixio-vith16', device_map="auto")
  
  compiled_model = torch.compile(model)
  
  inputs = processor(images=image, return_tensors="pt").to(model.device)
  outputs = compiled_model(**inputs)
  last_hidden_states = outputs.last_hidden_state

PixioConfig

>>> from transformers import PixioConfig, PixioModel

>>> # Initializing a Pixio pixio-huge style configuration
>>> configuration = PixioConfig()

>>> # Initializing a model (with random weights) from the pixio-huge style configuration
>>> model = PixioModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PixioModel

PixioBackbone

>>> from transformers import AutoImageProcessor, AutoBackbone
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> processor = AutoImageProcessor.from_pretrained("facebook/pixio-huge")
>>> model = AutoBackbone.from_pretrained(
...     "facebook/pixio-huge", out_features=["stage7", "stage15", "stage23", "stage31"]
... )

>>> inputs = processor(image, return_tensors="pt")

>>> outputs = model(**inputs)
>>> feature_maps = outputs.feature_maps
>>> list(feature_maps[-1].shape)
[1, 1280, 16, 16]