# RADIO

[RADIO](https://huggingface.co/papers/2312.06709) (Reduce All Domains Into One), NVIDIA tarafından çoklu öğretmen damıtma (ör. CLIP, DINOv2, SAM) ile tek bir ViT omurgasına eğitilmiş bir görme temel modeli ailesidir. Hem görüntü düzeyinde `summary` gömme hem de yoğun uzamsal `features` üretir ve Cropped Position Embedding (CPE) yama üreticisi aracılığıyla değişken giriş çözünürlüklerini destekler.

Aşağıdaki örnek, [RadioModel](/docs/transformers/v5.23.0/tr/model_doc/radio#transformers.RadioModel) sınıfı ile görüntü özelliklerinin nasıl çıkarılacağını göstermektedir.

```python
import requests
import torch
from PIL import Image

from transformers import CLIPImageProcessor, RadioModel

hf_repo = "nvidia/C-RADIOv4-H"

device = torch.accelerator.current_accelerator().type if torch.accelerator.is_available() else "cpu"

model = RadioModel.from_pretrained(hf_repo)
model.eval().to(device)

image_processor = CLIPImageProcessor(
    size={"height": 224, "width": 224}, do_resize=True, do_center_crop=False, do_normalize=False
)

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")
pixel_values = image_processor(images=image, return_tensors="pt").pixel_values
pixel_values = pixel_values.to(device)

with torch.no_grad():
    outputs = model(pixel_values)

summary = outputs.summary    # (1, 2560) image-level embedding
features = outputs.features   # (1, 196, 1280) dense spatial features
```

## RadioConfig[[transformers.RadioConfig]]

#### transformers.RadioConfig[[transformers.RadioConfig]]

```python
transformers.RadioConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, hidden_size: int = 1280, num_hidden_layers: int = 32, num_attention_heads: int = 16, mlp_ratio: float = 4.0, hidden_act: str = 'gelu', layer_norm_eps: float = 1e-06, attention_probs_dropout_prob: float = 0.0, hidden_dropout_prob: float = 0.0, drop_path_rate: float = 0.0, use_swiglu_ffn: bool = False, qkv_bias: bool = True, layerscale_value: float = 1.0, num_channels: int = 3, patch_size: int = 16, image_size: int = 224, max_img_size: int = 2048, num_cls_tokens: int = 3, num_registers: int = 7, video_temporal_patch_size: int | None = None, patch_dim: int | None = None, video_patch_dim: int | None = None, summary_idxs: list[int] | None = None, norm_mean: list[float] | tuple[float, float, float] = (0.48145466, 0.4578275, 0.40821073), norm_std: list[float] | tuple[float, float, float] = (0.26862954, 0.26130258, 0.27577711), initializer_range: float = 0.02)
```

[Kaynak](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/radio/configuration_radio.py#L28)

**Parametreler:**

hidden_size (`int`, *isteğe bağlı*, varsayılan `1280`) : Gizli temsillerin boyutu.

num_hidden_layers (`int`, *isteğe bağlı*, varsayılan `32`) : Transformer decoder'ındaki gizli katman sayısı.

num_attention_heads (`int`, *isteğe bağlı*, varsayılan `16`) : Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı.

mlp_ratio (`float`, *opsiyonel*, varsayılan 4.0) : `hidden_size`'e göre MLP'nin gizli boyutunun oranı.

hidden_act (`str`, *isteğe bağlı*, varsayılan `gelu`) : Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, `"gelu"`, `"relu"`, `"silu"` vb.

layer_norm_eps (`float`, *opsiyonel*, varsayılan `1e-06`) : Katman normalizasyonu katmanlarında kullanılan epsilon.

attention_probs_dropout_prob (`float`, *isteğe bağlı*, varsayılan `0.0`) : Dikkat olasılıkları için dropout oranı.

hidden_dropout_prob (`float`, *opsiyonel*, varsayılan `0.0`) : Gömme, kodlayıcı ve havuzlayıcıdaki tüm tam bağlı katmanlar için dropout olasılığı.

drop_path_rate (`float`, *opsiyonel*, varsayılan `0.0`) : Yama füzyonu için drop path oranı.

use_swiglu_ffn (`bool`, *isteğe bağlı*, varsayılan `False`) : Standart MLP yerine kodlayıcı katmanlarında SwiGLU ileri beslemeli ağın kullanılıp kullanılmayacağı.

qkv_bias (`bool`, *isteğe bağlı*, varsayılan `True`) : Sorgulara, anahtarlara ve değerlere bir sapma (bias) eklenip eklenmeyeceğini belirtir.

layerscale_value (`float`, *opsiyonel*, varsayılan 1.0) : LayerScale parametreleri için başlangıç değeri. C-RADIO'da LayerScale yoktur; `1.0` varsayılan değeri, (miras alınan) LayerScale'i bir kimlik işlemi haline getirir.

num_channels (`int`, *opsiyonel*, varsayılan `3`) : Girdi kanal sayısı.

patch_size (`int`, *isteğe bağlı*, varsayılan `16`) : Her yamanın boyutu (çözünürlüğü).

image_size (`int`, *isteğe bağlı*, varsayılan `224`) : Her bir görüntünün boyutu (çözünürlüğü).

max_img_size (`int`, *isteğe bağlı*, varsayılan 2048) : CPE yama oluşturucusunun konum gömme tablosunu boyutlandırmak için kullanılan maksimum desteklenen görüntü boyutu (piksel cinsinden).

num_cls_tokens (`int`, *opsiyonel*, varsayılan 3) : Yama dizisine eklenen öğrenilmiş sınıf (özet) jetonlarının sayısı.

num_registers (`int`, *isteğe bağlı*, varsayılan 7) : Yama dizisine eklenen öğrenilmiş kayıt belirteçlerinin sayısı.

video_temporal_patch_size (`int`, *opsiyonel*) : Her yama başına zaman boyutunda yığılmış kare sayısı. Ayarlandığında, yama üreticisi zaman boyutunda paketlenmiş video yamaları için ayrıca bir `video_patch_projection` oluşturur; `None` video yolunu devre dışı bırakır.

patch_dim (`int`, *isteğe bağlı*) : Bir görüntü yamasının düzleştirilmiş boyutu. `num_channels` ve `patch_size` değerlerinden türetilir.

video_patch_dim (`int`, *opsiyonel*) : Zamanla paketlenmiş bir video yamasının düzleştirilmiş boyutu. `video_temporal_patch_size` ve `patch_dim` değerlerinden türetilir; yalnızca görüntü içeren kontrol noktaları için `None`.

summary_idxs (`list[int]`, *isteğe bağlı*, varsayılan `[0, 1]`) : `summary` çıktı gömme vektörüne toplanacak ve düzleştirilecek sınıf token'larının dizinleri.

norm_mean (`tuple[float, float, float]`, *isteğe bağlı*, varsayılan `OPENAI_CLIP_MEAN`) : Piksel değerlerini normalize etmek için girdi koşullandırıcısı tarafından kullanılan kanal başına ortalama.

norm_std (`tuple[float, float, float]`, *isteğe bağlı*, varsayılan `OPENAI_CLIP_STD`) : Girdi koşullandırıcısının piksel değerlerini normalize etmek için kullandığı kanal başına standart sapma.

initializer_range (`float`, *opsiyonel*, varsayılan `0.02`) : Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.

Bu, bir RadioModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Radio modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılanlarla bir yapılandırma örneği oluşturmak, [nvidia/C-RADIOv4-H](https://huggingface.co/nvidia/C-RADIOv4-H) modelinin yapılandırmasına benzer bir yapılandırma üretir.

Yapılandırma nesneleri [PreTrainedConfig](/docs/transformers/v5.23.0/tr/main_classes/configuration#transformers.PreTrainedConfig) sınıfından türetilir ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için [PreTrainedConfig](/docs/transformers/v5.23.0/tr/main_classes/configuration#transformers.PreTrainedConfig) belgesini okuyun.

## RadioModel[[transformers.RadioModel]]

#### transformers.RadioModel[[transformers.RadioModel]]

```python
transformers.RadioModel(config: RadioConfig)
```

[Kaynak](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/radio/modeling_radio.py#L434)

**Parametreler:**

config ([RadioConfig](/docs/transformers/v5.23.0/tr/model_doc/radio#transformers.RadioConfig)) : Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için [from_pretrained()](/docs/transformers/v5.23.0/tr/main_classes/model#transformers.PreTrainedModel.from_pretrained) yöntemine göz atın.

Üzerinde herhangi bir özel head olmadan ham hidden-states üreten çıplak Radio Model.

Bu model [PreTrainedModel](/docs/transformers/v5.23.0/tr/main_classes/model#transformers.PreTrainedModel) sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden ayarlama, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

#### forward[[transformers.RadioModel.forward]]

```python
forward(pixel_values: Tensor, image_grid_hw: typing.Optional[torch.LongTensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Kaynak](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/radio/modeling_radio.py#L454)

**Parametreler:**

pixel_values (`torch.Tensor`, şekli `(batch_size, num_channels, height, width)` veya `(total_patches, num_channels * patch_size**2)`) : Tek boyutlu görüntüler veya `image_grid_hw` ile farklı boyutlardaki görüntülerin düzleştirilmiş yamalarının birleştirilmiş hali. Her yama kanal-öncelikli (channel-major) olarak yerleştirilir, yani `(num_channels, patch_size, patch_size)`.

image_grid_hw (`torch.LongTensor`, şekli `(num_images, 2)`, *isteğe bağlı*) : Paketlenmiş `pixel_values` içindeki her bir görüntünün yama ızgarası `(height, width)`.

**Dönüş:** `RadioModelOutput` veya `tuple(torch.Tensor)`

Bir `RadioModelOutput` veya bir `torch.Tensor` demeti (`return_dict=False` geçirildiğinde veya `config.return_dict=False` olduğunda), yapılandırmaya ([RadioConfig](/docs/transformers/v5.23.0/tr/model_doc/radio#transformers.RadioConfig)) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

[RadioModel](/docs/transformers/v5.23.0/tr/model_doc/radio#transformers.RadioModel) forward metodu, `__call__` özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine `Module` örneğini çağırmak gerekir; çünkü ilki ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

- **özet** (`torch.Tensor`, şekli `(batch_size, num_summary_idxs * hidden_size)`) -- `config.summary_idxs` tarafından seçilen cls token'larından toplanmış, düzleştirilmiş özet gömme.
- **özellikler** (`torch.Tensor`, şekli `(batch_size, num_patches, hidden_size)`) -- Yoğun uzamsal yama özellikleri. Paketlenmiş girdiler için (`image_grid_hw` verildiğinde), tüm görüntülerin yama özelliklerinin birleştirilmiş hali, şekli `(total_patches, hidden_size)`.
- **last_hidden_state** (`torch.Tensor`, şekli `(batch_size, sequence_length, hidden_size)`) -- Son kodlayıcı katmanından tam token dizisi (önek tokenları + yamalar). Paketli girdiler için, tüm görüntülerin dizilerinin birleştirilmiş hali, şekli `(total_sequence_length, hidden_size)`.
- **hidden_states** (`tuple[torch.Tensor]`, *isteğe bağlı*, `output_hidden_states=True` geçirildiğinde veya `config.output_hidden_states=True` olduğunda döndürülür) -- `torch.Tensor` (gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için bir tane) içeren ve `(batch_size, sequence_length, hidden_size)` biçiminde bir demet.

  Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.
- **attentions** (`tuple[torch.Tensor]`, *isteğe bağlı*, `output_attentions=True` geçirildiğinde veya `config.output_attentions=True` olduğunda döndürülür) -- `(batch_size, num_heads, sequence_length, sequence_length)` biçiminde, her katman için bir adet içeren `torch.Tensor` demeti.

  Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat kafalarında ağırlıklı ortalamanın hesaplanmasında kullanılır.

