# ColModernVBert

## Ikhtisar

ColModernVBert adalah model untuk pengambilan dokumen visual yang efisien. Model ini memanfaatkan [ModernVBert](modernvbert) untuk membangun embedding multi-vektor langsung dari gambar dokumen, mengikuti pendekatan ColPali.

Model ini diperkenalkan dalam [ModernVBERT: Towards Smaller Visual Document Retrievers](https://huggingface.co/papers/2510.01149).

```python
import torch
from huggingface_hub import hf_hub_download
from PIL import Image

from transformers import ColModernVBertForRetrieval, ColModernVBertProcessor

processor = ColModernVBertProcessor.from_pretrained("ModernVBERT/colmodernvbert-hf")
model = ColModernVBertForRetrieval.from_pretrained("ModernVBERT/colmodernvbert-hf", device_map="auto")

# Load the test dataset
queries = [
    "A paint on the wall",
    "ColModernVBERT matches the performance of models nearly 10x larger on visual document benchmarks."
]

images = [
    Image.open(hf_hub_download("HuggingFaceTB/SmolVLM", "example_images/rococo.jpg", repo_type="space")),
    Image.open(hf_hub_download("ModernVBERT/colmodernvbert", "table.png", repo_type="model"))
]

# Preprocess the examples
batch_images = processor(images=images).to(model.device)
batch_queries = processor(text=queries).to(model.device)

# Run inference
with torch.inference_mode():
    image_embeddings = model(**batch_images).embeddings
    query_embeddings = model(**batch_queries).embeddings

# Compute retrieval scores
scores = processor.score_retrieval(
    query_embeddings=query_embeddings,
    passage_embeddings=image_embeddings,
)

scores = torch.softmax(scores, dim=-1)

print(scores)    # [[0.9350, 0.0650], [0.0015, 0.9985]]
```

## ColModernVBertConfig[[transformers.ColModernVBertConfig]]

#### transformers.ColModernVBertConfig[[transformers.ColModernVBertConfig]]

```python
transformers.ColModernVBertConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vlm_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, embedding_dim: int = 128, initializer_range: float = 0.02)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/colmodernvbert/configuration_colmodernvbert.py#L31)

**Parameter:**

vlm_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *opsional*) : Objek config atau dictionary dari backbone vision-language.

embedding_dim (`int`, *opsional*, defaultnya `128`) : Dimensi dari embedding dan hidden states.

initializer_range (`float`, *opsional*, defaultnya `0.02`) : Deviasi standar dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot.

Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari ColmodernvbertModel. Kelas ini digunakan untuk membuat instans model Colmodernvbert sesuai dengan argumen yang ditentukan, yang mendefinisikan arsitektur model. Membuat instans konfigurasi dengan nilai default akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari [ModernVBERT/colmodernvbert-merged](https://huggingface.co/ModernVBERT/colmodernvbert-merged)

Objek konfigurasi mewarisi dari [PreTrainedConfig](/docs/transformers/v5.23.0/id/main_classes/configuration#transformers.PreTrainedConfig) dan dapat digunakan untuk mengontrol keluaran model. Baca dokumentasi dari [PreTrainedConfig](/docs/transformers/v5.23.0/id/main_classes/configuration#transformers.PreTrainedConfig) untuk informasi lebih lanjut.

Contoh:

```python
from transformers import ColModernVBertConfig, ColModernVBertForRetrieval

config = ColModernVBertConfig()
model = ColModernVBertForRetrieval(config)
```

## ColModernVBertProcessor[[transformers.ColModernVBertProcessor]]

#### transformers.ColModernVBertProcessor[[transformers.ColModernVBertProcessor]]

```python
transformers.ColModernVBertProcessor(image_processor, tokenizer = None, chat_template = None, image_seq_len: int = 64, visual_prompt_prefix: str | None = None, query_prefix: str | None = None, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/colmodernvbert/processing_colmodernvbert.py#L54)

**Parameter:**

image_processor (`image_processor_class`) : Pemroses gambar adalah input yang wajib.

tokenizer (`tokenizer_class`) : Tokenizer adalah input yang wajib.

chat_template (`str`) : Template Jinja untuk mengonversi daftar pesan dalam chat menjadi string yang dapat ditokenisasi.

image_seq_len (`int`, *opsional*, defaultnya 64) : Panjang urutan gambar, yaitu jumlah token per gambar dalam input.

visual_prompt_prefix (`str`, *opsional*) : String yang akan ditokenisasi dan ditambahkan di depan token gambar.

query_prefix (`str`, *opsional*) : Prefiks yang akan digunakan untuk kueri.

Membangun ColModernVBertProcessor yang membungkus image processor dan tokenizer menjadi satu processor.

[ColModernVBertProcessor](/docs/transformers/v5.23.0/id/model_doc/colmodernvbert#transformers.ColModernVBertProcessor) menyediakan semua fungsionalitas dari `image_processor_class` dan `tokenizer_class`. Lihat `~image_processor_class` dan `~tokenizer_class` untuk informasi lebih lanjut.

#### process_images[[transformers.ColModernVBertProcessor.process_images]]

```python
process_images(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, **kwargs: *<class 'transformers.processing_utils.ProcessingKwargs'>)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/colmodernvbert/processing_colmodernvbert.py#L330)

**Parameter:**

images (`PIL.Image.Image`, `np.ndarray`, `torch.Tensor`, `list[PIL.Image.Image]`, `list[np.ndarray]`, `list[torch.Tensor]`) : Gambar atau batch gambar yang akan disiapkan. Setiap gambar dapat berupa gambar PIL, array NumPy, atau tensor PyTorch. Jika berupa array NumPy/tensor PyTorch, setiap gambar harus memiliki bentuk (C, H, W), di mana C adalah jumlah channel, dan H serta W adalah tinggi dan lebar gambar.

return_tensors (`str` atau [TensorType](/docs/transformers/v5.23.0/id/internal/file_utils#transformers.TensorType), *opsional*) : Jika diatur, akan mengembalikan tensor dari framework tertentu. Nilai yang dapat diterima adalah:  - `'pt'`: Mengembalikan objek `torch.Tensor` PyTorch. - `'np'`: Mengembalikan objek `np.ndarray` NumPy.

**Mengembalikan:** [BatchFeature](/docs/transformers/v5.23.0/id/main_classes/feature_extractor#transformers.BatchFeature)

[BatchFeature](/docs/transformers/v5.23.0/id/main_classes/feature_extractor#transformers.BatchFeature) dengan bidang berikut:

- **input_ids** -- Daftar id token yang akan diberikan ke model.
- **attention_mask** -- Daftar indeks yang menentukan token mana yang harus diperhatikan oleh model (ketika `return_attention_mask=True` atau jika *"attention_mask"* ada di `self.model_input_names` dan jika `text` bukan `None`).
- **pixel_values** -- Nilai piksel yang akan diberikan ke model. Dikembalikan ketika `images` bukan `None`.

Siapkan satu atau beberapa gambar untuk model. Menangani validasi input, konversi RGB, dan menambahkan `visual_prompt_prefix` ke setiap gambar. Secara opsional menghitung label dari `token_type_ids` ketika `suffix` disediakan dalam `text_kwargs`.

#### process_queries[[transformers.ColModernVBertProcessor.process_queries]]

```python
process_queries(text: str | list[str], suffix: str | None = None, **kwargs: *<class 'transformers.processing_utils.ProcessingKwargs'>)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/colmodernvbert/processing_colmodernvbert.py#L390)

**Parameter:**

text (`str`, `list[str]`, `list[list[str]]`) : Urutan atau batch dari urutan yang akan dienkod. Setiap urutan dapat berupa string atau daftar string (string yang sudah dipretokenisasi). Jika urutan diberikan sebagai daftar string (pretokenized), Anda harus mengatur `is_split_into_words=True` (untuk menghilangkan ambiguitas dengan batch dari urutan).

suffix (`str`, *opsional*) : Suffix yang ditambahkan ke query.

return_tensors (`str` atau [TensorType](/docs/transformers/v5.23.0/id/internal/file_utils#transformers.TensorType), *opsional*) : Jika diatur, akan mengembalikan tensor dari framework tertentu. Nilai yang dapat diterima adalah:  - `'pt'`: Mengembalikan objek `torch.Tensor` PyTorch. - `'np'`: Mengembalikan objek `np.ndarray` NumPy.

**Mengembalikan:** [BatchFeature](/docs/transformers/v5.23.0/id/main_classes/feature_extractor#transformers.BatchFeature)

[BatchFeature](/docs/transformers/v5.23.0/id/main_classes/feature_extractor#transformers.BatchFeature) dengan bidang berikut:

- **input_ids** -- Daftar id token yang akan diberikan ke model.
- **attention_mask** -- Daftar indeks yang menentukan token mana yang harus diperhatikan oleh model (ketika `return_attention_mask=True` atau jika *"attention_mask"* ada di `self.model_input_names` dan jika `text` bukan `None`).

Siapkan satu atau beberapa kueri teks untuk model. Menangani validasi input, menambahkan `query_prefix` di awal, dan menambahkan token augmentasi kueri (digunakan untuk mengisi embedding kueri guna meningkatkan kinerja pengambilan interaksi akhir).

#### score_retrieval[[transformers.ColModernVBertProcessor.score_retrieval]]

```python
score_retrieval(query_embeddings: typing.Union[ForwardRef('torch.Tensor'), list['torch.Tensor']], passage_embeddings: typing.Union[ForwardRef('torch.Tensor'), list['torch.Tensor']], batch_size: int = 128, output_dtype: typing.Optional[ForwardRef('torch.dtype')] = None, output_device: typing.Union[ForwardRef('torch.device'), str] = 'cpu')
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/colmodernvbert/processing_colmodernvbert.py#L454)

**Parameter:**

query_embeddings (`Union[torch.Tensor, list[torch.Tensor]`) : Embedding kueri.

passage_embeddings (`Union[torch.Tensor, list[torch.Tensor]`) : Embedding passage.

batch_size (`int`, *opsional*, default 128) : Ukuran batch untuk menghitung skor.

output_dtype (`torch.dtype`, *opsional*, defaultnya `torch.float32`) : dtype dari tensor output. Jika `None`, dtype dari input embeddings yang digunakan.

output_device (`torch.device` atau `str`, *opsional*, defaultnya "cpu") : Perangkat dari tensor output.

**Mengembalikan:** `torch.Tensor`

Tensor dengan bentuk `(n_queries, n_passages)` yang berisi skor. Tensor skor disimpan pada perangkat "cpu".

Hitung skor late-interaction/MaxSim (mirip ColBERT) untuk embedding query multi-vektor (`qs`) dan embedding passage (`ps`) yang diberikan. Untuk ColQwen2, sebuah passage adalah citra dari halaman dokumen.

Karena tensor embedding bersifat multi-vektor dan karenanya dapat memiliki bentuk yang berbeda, tensor tersebut harus diberikan sebagai: (1) daftar tensor, di mana tensor ke-i memiliki bentuk (sequence_length_i, embedding_dim) (2) satu tensor tunggal dengan bentuk (n_passages, max_sequence_length, embedding_dim) -> biasanya diperoleh dengan melakukan padding pada daftar tensor.

## ColModernVBertForRetrieval[[transformers.ColModernVBertForRetrieval]]

#### transformers.ColModernVBertForRetrieval[[transformers.ColModernVBertForRetrieval]]

```python
transformers.ColModernVBertForRetrieval(config: ColModernVBertConfig)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/colmodernvbert/modeling_colmodernvbert.py#L91)

**Parameter:**

config ([ColModernVBertConfig](/docs/transformers/v5.23.0/id/model_doc/colmodernvbert#transformers.ColModernVBertConfig)) : Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode [from_pretrained()](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel.from_pretrained) untuk memuat bobot model.

Mengikuti pendekatan ColPali, ColModernVBert memanfaatkan VLM untuk membangun embedding multi-vektor yang efisien langsung dari gambar dokumen (“screenshot”) untuk pengambilan dokumen. Model ini dilatih untuk memaksimalkan kemiripan antara embedding dokumen tersebut dan embedding kueri yang sesuai, menggunakan metode interaksi akhir yang diperkenalkan dalam ColBERT.

Menggunakan ColModernVBert menghilangkan kebutuhan akan pipeline pengenalan tata letak dan OCR yang berpotensi kompleks dan rapuh, dengan satu model yang dapat mempertimbangkan konten teks dan visual (tata letak, grafik, ...) dari sebuah dokumen.

ColModernVBert dilatih di atas ModernVBert, dan diperkenalkan dalam paper berikut: [*ModernVBERT: Towards Smaller Visual Document Retrievers*](https://arxiv.org/abs/2510.01149).

ColModernVBert merupakan bagian dari keluarga model ColVision, yang diperkenalkan bersama ColPali dalam paper berikut: [*ColPali: Efficient Document Retrieval with Vision Language Models*](https://huggingface.co/papers/2407.01449).

Model ini mewarisi dari [PreTrainedModel](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel). Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka ini untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran input embeddings, memangkas heads, dll.)

Model ini juga merupakan subclass dari [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.

#### forward[[transformers.ColModernVBertForRetrieval.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, pixel_values: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/colmodernvbert/modeling_colmodernvbert.py#L105)

**Parameter:**

input_ids (`torch.LongTensor` dengan bentuk `(batch_size, sequence_length)`, *opsional*) : Indeks token dari urutan input dalam kosakata. Padding akan diabaikan secara default. Indeks dapat diperoleh menggunakan [AutoTokenizer](/docs/transformers/v5.23.0/id/model_doc/auto#transformers.AutoTokenizer). Lihat [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/id/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) dan [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/id/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) untuk detailnya. [Apa itu input IDs?](../glossary#input-ids)

pixel_values (`torch.Tensor` dengan bentuk `(batch_size, num_channels, image_size, image_size)`, *opsional*) : Tensor yang sesuai dengan gambar input. Nilai piksel dapat diperoleh menggunakan `image_processor_class`. Lihat `image_processor_class.__call__` untuk detailnya ([ColModernVBertProcessor](/docs/transformers/v5.23.0/id/model_doc/colmodernvbert#transformers.ColModernVBertProcessor) menggunakan `image_processor_class` untuk memproses gambar).

attention_mask (`torch.Tensor` dengan bentuk `(batch_size, sequence_length)`, *opsional*) : Mask untuk menghindari pelaksanaan attention pada indeks token padding. Nilai mask dipilih dalam `[0, 1]`:  - 1 untuk token yang **tidak di-mask**, - 0 untuk token yang **di-mask**.  [Apa itu attention masks?](../glossary#attention-mask)

**Mengembalikan:** `ColModernVBertForRetrievalOutput` atau `tuple(torch.Tensor)`

Sebuah `ColModernVBertForRetrievalOutput` atau tuple dari `torch.Tensor` (jika `return_dict=False` dilewatkan atau ketika `config.return_dict=False`) yang terdiri dari berbagai elemen tergantung pada konfigurasi ([ColModernVBertConfig](/docs/transformers/v5.23.0/id/model_doc/colmodernvbert#transformers.ColModernVBertConfig)) dan input.

Metode forward dari [ColModernVBertForRetrieval](/docs/transformers/v5.23.0/id/model_doc/colmodernvbert#transformers.ColModernVBertForRetrieval) menimpa metode khusus `__call__`.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance `Module` setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

- **loss** (`torch.Tensor` dengan bentuk `(1,)`, *opsional*, dikembalikan saat `labels` disediakan) -- Loss pemodelan bahasa (untuk prediksi token berikutnya).
- **embeddings** (`torch.Tensor` dengan bentuk `(batch_size, sequence_length, hidden_size)`) -- Embeddings dari model.
- **hidden_states** (`tuple[torch.Tensor]`, *opsional*, dikembalikan ketika `output_hidden_states=True` dilewatkan atau ketika `config.output_hidden_states=True`) -- Tuple dari `torch.Tensor` (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk `(batch_size, sequence_length, hidden_size)`.

  Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
- **image_hidden_states** (`tuple(torch.Tensor)`, *opsional*, dikembalikan ketika `output_hidden_states=True` dilewatkan atau ketika `config.output_hidden_states=True` dan `pixel_values` disediakan) -- Tuple dari `torch.Tensor` (satu untuk output dari proyeksi modalitas gambar + satu untuk output dari setiap lapisan) dengan bentuk `(batch_size, num_channels, image_size, image_size)`. Hidden-states dari encoder gambar pada output setiap lapisan ditambah output proyeksi modalitas awal.
- **attentions** (`tuple[torch.Tensor]`, *opsional*, dikembalikan ketika `output_attentions=True` dilewatkan atau ketika `config.output_attentions=True`) -- Tuple dari `torch.Tensor` (satu untuk setiap layer) dengan bentuk `(batch_size, num_heads, sequence_length, sequence_length)`.

  Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala self-attention.

Contoh:

```python
```

