Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Model ini disumbangkan ke Hugging Face Transformers pada 2024-03-20.

LLaVA-NeXT

LLaVA‑NeXT meningkatkan Llava dengan meningkatkan resolusi gambar input sebanyak 4x lebih banyak piksel dan mendukung 3 rasio aspek (hingga 672x672, 336x1344, 1344x336) untuk memahami detail visual dengan lebih baik. Model ini juga dilatih pada dataset penyetelan instruksi visual yang ditingkatkan, mencakup lebih banyak skenario dan aplikasi untuk meningkatkan OCR dan penalaran akal sehat.

Anda dapat menemukan semua checkpoint asli LLaVA‑NeXT di bawah koleksi LLaVA-NeXT.

Model ini disumbangkan oleh nielsr.

Klik pada model LLaVA‑NeXT di bilah sisi kanan untuk melihat lebih banyak contoh cara menerapkan Llava-NeXT ke berbagai tugas multimodal yang berbeda.

Contoh di bawah ini menunjukkan cara menghasilkan teks berdasarkan gambar dengan Pipeline atau kelas AutoModel.

Pipeline

AutoModel

Quantization mengurangi beban memori model besar dengan merepresentasikan bobot dalam presisi yang lebih rendah. Lihat ringkasan Quantization untuk backend quantization lain yang tersedia.

Contoh di bawah menggunakan bitsandbytes untuk hanya mengkuantisasi bobot ke int4.

import requests
import torch
from PIL import Image

from transformers import AutoModelForImageTextToText, AutoProcessor, BitsAndBytesConfig


quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4"
)

processor = AutoProcessor.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf")
model = AutoModelForImageTextToText.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf", quantization_config=quant_config, device_map="auto")

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_ocr.png"
image = Image.open(requests.get(url, stream=True).raw)

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "What does this chart show?"},
        ],
    },
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
inputs = processor(image, prompt, return_tensors="pt").to(model.device)

with torch.inference_mode():
    output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))

Catatan

Berbagai checkpoint (Mistral, Vicuna, dll.) memerlukan format prompt tertentu tergantung pada LLM yang mendasarinya. Selalu gunakan apply_chat_template() untuk memastikan format yang benar. Lihat panduan Templates untuk detail lebih lanjut.
Setel padding_side="left" saat generasi batched untuk hasil yang lebih akurat.

processor.tokenizer.padding_side = "left"

LLaVA-NeXT menggunakan jumlah patch yang berbeda untuk gambar dan mengisi input di dalam kode pemodelan, kecuali ketika pengisian dilakukan selama pemrosesan. Pengaturan default adalah left-padding jika model berada dalam mode eval(), selain itu adalah right-padding.
Model LLaVA setelah v4.46 mengeluarkan peringatan tentang penambahan processor.patch_size = {{patch_size}}, processor.num_additional_image_tokens = {{num_additional_image_tokens}}, dan processor.vision_feature_select_strategy = {{vision_feature_select_strategy}}. Sangat disarankan untuk menambahkan atribut-atribut ini ke processor jika Anda memiliki checkpoint model tersebut, atau membuka PR jika tidak.

Menambahkan atribut-atribut ini berarti LLaVA akan mencoba memperkirakan jumlah token gambar yang diperlukan per gambar dan memperluas teks dengan jumlah placeholder token <image> yang sama. Biasanya ada sekitar 500 token per gambar, jadi pastikan teks tidak terpotong karena hal itu akan menyebabkan kegagalan saat menggabungkan embedding. Atribut-atribut tersebut dapat ditemukan di model.config.vision_config.patch_size atau model.config.vision_feature_select_strategy.

num_additional_image_tokens harus bernilai 1 jika vision backbone menambahkan token CLS atau 0 jika tidak ada tambahan lain.
Contoh di bawah ini mendemonstrasikan inferensi dengan beberapa gambar input.

import requests
from PIL import Image

from transformers import LlavaNextForConditionalGeneration, LlavaNextProcessor


processor = LlavaNextProcessor.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf")
model = LlavaNextForConditionalGeneration.from_pretrained(
    "llava-hf/llava-v1.6-mistral-7b-hf", device_map="auto"
)

# Load multiple images
url1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_ocr.png"
url2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_comparison.png"

image1 = Image.open(requests.get(url1, stream=True).raw)
image2 = Image.open(requests.get(url2, stream=True).raw)

conversation = [
    {"role": "user", "content": [{"type": "image"}, {"type": "image"}, {"type": "text", "text": "Compare these two images and describe the differences."}]}
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
inputs = processor([image1, image2], prompt, return_tensors="pt").to(model.device)

output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))

Transformers

LLaVA-NeXT

Catatan

LlavaNextConfig

kelas transformers.LlavaNextConfig

LlavaNextImageProcessor

kelas transformers.LlavaNextImageProcessor

praproses

LlavaNextImageProcessorPil

kelas transformers.LlavaNextImageProcessorPil

praproses

LlavaNextProcessor

kelas transformers.LlavaNextProcessor

__call__

LlavaNextModel

kelas transformers.LlavaNextModel

forward

get_image_features

get_placeholder_mask

pack_image_features

LlavaNextForConditionalGeneration

kelas transformers.LlavaNextForConditionalGeneration

forward

get_image_features

call