Transformers documentation

Qwen2-VL

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

이 모델은 2024-09-18에 HF papers에 게시되었으며, 2024-08-26에 Hugging Face Transformers에 기여되었습니다.

Qwen2-VL

개요

Qwen2-VL(블로그 포스트) 모델은 Alibaba Research의 Qwen 팀이 Qwen-VL에 대해 발표한 주요 업데이트입니다.

블로그의 초록은 다음과 같습니다:

이 블로그에서는 지난 1년간 상당한 개선이 이루어진 Qwen-VL 모델의 고급 버전인 Qwen2-VL을 소개합니다. 주요 개선 사항에는 향상된 이미지 이해, 고급 비디오 이해, 통합된 비주얼 에이전트 기능, 그리고 확장된 다국어 지원이 포함됩니다. 모델 아키텍처는 Naive Dynamic Resolution 지원을 통해 임의의 이미지 해상도를 처리하도록 최적화되었으며, 1차원 텍스트 데이터와 다차원 시각 데이터를 효과적으로 처리하기 위해 Multimodal Rotary Position Embedding(M-ROPE)을 활용합니다. 이 업데이트된 모델은 GPT-4o와 Claude 3.5 Sonnet과 같은 선두 AI 시스템과 비교하여 비전 관련 작업에서 경쟁력 있는 성능을 보여주며, 텍스트 기능 측면에서는 오픈소스 모델 중 상위 순위에 랭크됩니다. 이러한 발전으로 Qwen2-VL은 강력한 멀티모달 처리 및 추론 능력이 필요한 다양한 애플리케이션에 활용될 수 있는 다재다능한 도구가 되었습니다.

Qwen2-VL architecture. Taken from the blog post.

이 모델은 simonJJJ님이 기여했습니다.

사용 예시

단일 미디어 추론

모델은 이미지와 비디오를 모두 입력으로 받을 수 있습니다. 추론을 위한 예제 코드는 다음과 같습니다.

from transformers import AutoProcessor, Qwen2VLForConditionalGeneration


# Load the model in half-precision on the available device(s)
model = Qwen2VLForConditionalGeneration.from_pretrained("Qwen/Qwen2-VL-7B-Instruct", device_map="auto")
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct")


conversation = [
    {
        "role":"user",
        "content":[
            {
                "type":"image",
                "url": "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/images/qwen_vl_demo.jpeg"
            },
            {
                "type":"text",
                "text":"Describe this image."
            }
        ]
    }
]

inputs = processor.apply_chat_template(
    conversation,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

# Inference: Generation of the output
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)



# Video
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "video", "path": "/path/to/video.mp4"},
            {"type": "text", "text": "What happened in the video?"},
        ],
    }
]

inputs = processor.apply_chat_template(
    conversation,
    fps=1,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)


# Inference: Generation of the output
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)

배치 혼합 미디어 추론

모델은 이미지, 비디오, 텍스트 등 다양한 유형의 혼합 샘플로 구성된 입력을 배치로 처리할 수 있습니다. 아래는 예시입니다.


# Conversation for the first image
conversation1 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "path": "/path/to/image1.jpg"},
            {"type": "text", "text": "Describe this image."}
        ]
    }
]

# Conversation with two images
conversation2 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "path": "/path/to/image2.jpg"},
            {"type": "image", "path": "/path/to/image3.jpg"},
            {"type": "text", "text": "What is written in the pictures?"}
        ]
    }
]

# Conversation with pure text
conversation3 = [
    {
        "role": "user",
        "content": "who are you?"
    }
]


# Conversation with mixed media
conversation4 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "path": "/path/to/image3.jpg"},
            {"type": "image", "path": "/path/to/image4.jpg"},
            {"type": "video", "path": "/path/to/video.jpg"},
            {"type": "text", "text": "What are the common elements in these media?"},
        ],
    }
]

conversations = [conversation1, conversation2, conversation3, conversation4]
# Preparation for batch inference
inputs = processor.apply_chat_template(
    conversations,
    fps=1,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)


# Batch Inference
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)

사용 팁

이미지 해상도 트레이드오프

모델은 다양한 해상도의 입력을 지원합니다. 기본적으로 입력에 네이티브 해상도를 사용하지만, 더 높은 해상도를 사용하면 계산 비용이 증가하는 대신 성능을 향상시킬 수 있습니다. 사용자는 필요에 맞는 최적의 구성을 위해 최소 및 최대 픽셀 수를 설정할 수 있습니다.

min_pixels = 224*224
max_pixels = 2048*2048
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

GPU RAM이 제한적인 경우, 다음과 같이 해상도를 낮출 수 있습니다:

min_pixels = 256*28*28
max_pixels = 1024*28*28
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

256~1024 사이의 토큰 수로 각 이미지가 인코딩되도록 보장합니다. 28은 모델이 패치 크기 14와 시간적 패치 크기 2를 사용한다는 사실에서 유래합니다(14 x 2 = 28).

여러 이미지 입력

기본적으로 이미지와 비디오 콘텐츠는 대화에 직접 포함됩니다. 여러 이미지를 처리할 때, 참조를 명확히 하기 위해 이미지와 비디오에 라벨을 추가하는 것이 유용합니다. 사용자는 다음 설정을 통해 이 동작을 제어할 수 있습니다:

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "Hello, how are you?"}
        ]
    },
    {
        "role": "assistant",
        "content": "I'm doing well, thank you for asking. How can I assist you today?"
    },
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "Can you describe these images and video?"},
            {"type": "image"},
            {"type": "image"},
            {"type": "video"},
            {"type": "text", "text": "These are from my vacation."}
        ]
    },
    {
        "role": "assistant",
        "content": "I'd be happy to describe the images and video for you. Could you please provide more context about your vacation?"
    },
    {
        "role": "user",
        "content": "It was a trip to the mountains. Can you see the details in the images and video?"
    }
]

# default:
prompt_without_id = processor.apply_chat_template(conversation, add_generation_prompt=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\n<|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?<|vision_start|><|image_pad|><|vision_end|><|vision_start|><|image_pad|><|vision_end|><|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'


# add ids
prompt_with_id = processor.apply_chat_template(conversation, add_generation_prompt=True, add_vision_id=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\nPicture 1: <|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?Picture 2: <|vision_start|><|image_pad|><|vision_end|>Picture 3: <|vision_start|><|image_pad|><|vision_end|>Video 1: <|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'

생성 속도를 높이기 위한 Flash-Attention 2

먼저 Flash Attention 2의 최신 버전을 설치했는지 확인하세요:

pip install -U flash-attn --no-build-isolation

또한 Flash-Attention 2와 호환되는 하드웨어가 있어야 합니다. flash attention 저장소의 공식 문서에서 자세한 내용을 확인하세요. FlashAttention-2는 모델이 torch.float16 또는 torch.bfloat16로 로드된 경우에만 사용할 수 있습니다.

Flash Attention-2를 사용하여 모델을 로드하고 실행하려면, 다음과 같이 모델을 로드할 때 attn_implementation="flash_attention_2"를 추가하면 됩니다:

from transformers import Qwen2VLForConditionalGeneration

model = Qwen2VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2-VL-7B-Instruct", 
    attn_implementation="flash_attention_2",
 device_map="auto")

Transformers

Qwen2-VL

개요

사용 예시

단일 미디어 추론

배치 혼합 미디어 추론

사용 팁

이미지 해상도 트레이드오프

여러 이미지 입력

생성 속도를 높이기 위한 Flash-Attention 2

Qwen2VLConfig

클래스 transformers.Qwen2VLConfig

Qwen2VLVisionConfig

클래스 transformers.Qwen2VLVisionConfig

Qwen2VLTextConfig

클래스 transformers.Qwen2VLTextConfig

Qwen2VLImageProcessor

class transformers.Qwen2VLImageProcessor

preprocess

Qwen2VLVideoProcessor

class transformers.Qwen2VLVideoProcessor

preprocess

Qwen2VLImageProcessorPil

class transformers.Qwen2VLImageProcessorPil

preprocess

Qwen2VLProcessor

클래스 transformers.Qwen2VLProcessor

__call__

Qwen2VLTextModel

class transformers.Qwen2VLTextModel

forward

Qwen2VLModel

클래스 transformers.Qwen2VLModel

forward

get_video_features

get_image_features

Qwen2VLForConditionalGeneration

클래스 transformers.Qwen2VLForConditionalGeneration

forward

get_video_features

get_image_features

call