Transformers documentation

Janus

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Bu model 2024-10-17 tarihinde HF papers'ta yayımlandı ve 2025-04-17 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

Janus

Genel Bakış

Janus Model, DeepSeek AI ekibi tarafından Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation makalesinde ilk olarak önerilmiş ve daha sonra Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling makalesinde geliştirilmiştir. Janus, hem görsel hem de metin çıktısı üretebilen bir görsel-dil modelidir; ayrıca hem görsel hem de metin girdisi alabilir.

Model, görsel ve metni iç içe geçmiş bir biçimde üretmez. Kullanıcı, metin mi yoksa görsel mi üretileceğini belirten bir parametre iletmelidir.

Orijinal makalenin özeti aşağıdaki gibidir:

Bu makalede, çok modlu anlama ve üretimi birleştiren otoregresif bir çerçeve olan Janus'u tanıtıyoruz. Önceki araştırmalar, Chameleon gibi her iki görev için de tek bir görsel kodlayıcıya dayanma eğilimindedir. Ancak, çok modlu anlama ve üretimin gerektirdiği farklı bilgi granülerliği seviyeleri nedeniyle bu yaklaşım, özellikle çok modlu anlama konusunda suboptimal performansa yol açabilir. Bu sorunu ele almak için, görsel kodlamayı ayrı yollara ayırırken, işleme için tek bir, birleşik transformer mimarisinden hâlâ yararlanıyoruz. Bu ayrıştırma, görsel kodlayıcının anlama ve üretimdeki rolleri arasındaki çatışmayı hafifletmenin yanı sıra çerçevenin esnekliğini de artırır. Örneğin, çok modlu anlama ve üretim bileşenleri, en uygun kodlama yöntemlerini bağımsız olarak seçebilir. Deneyler, Janus'un önceki birleşik modeli geride bıraktığını ve görev-özel modellerin performansını eşitlediğini veya aştığını göstermektedir. Janus'un sadeliği, yüksek esnekliği ve etkinliği, onu bir sonraki nesil birleşik çok modlu modeller için güçlü bir aday haline getirmektedir.

Daha sonra yayımlanan söz konusu Janus-Pro makalesinin özeti aşağıdaki gibidir:

Bu çalışmada, önceki çalışma Janus'un gelişmiş bir sürümü olan Janus-Pro'yu tanıtıyoruz. Özellikle Janus-Pro, (1) optimize edilmiş bir eğitim stratejisi, (2) genişletilmiş eğitim verisi ve (3) daha büyük model boyutuna ölçeklenmeyi içerir. Bu iyileştirmelerle Janus-Pro, hem çok modlu anlama hem de metinden görüntüye talimat izleme yeteneklerinde önemli ilerlemeler sağlarken, metinden görüntüye üretiminin kararlılığını da artırıyor. Bu çalışmanın alanda daha fazla keşif ilham vermesini umuyoruz. Kod ve modeller herkese açıktır.

Bu model Yaswanth Gali ve Hugo Silva tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.

Kullanım Örneği

Tek görüntü çıkarımı

İşte tek bir görselle görsel anlama örneği.

Modelin sohbet için belirli bir istem formatıyla eğitildiğini unutmayın. İsteminizi doğru biçimlendirmek için processor.apply_chat_template(my_conversation_dict) kullanın.


from transformers import JanusForConditionalGeneration, JanusProcessor


model_id = "deepseek-community/Janus-Pro-1B"
# Prepare Input for generation.
messages = [
    {
        "role": "user",
        "content": [
            {'type':'image', 'url': 'http://images.cocodataset.org/val2017/000000039769.jpg'},
            {'type':"text", "text":"What do you see in this image?."}
        ]
    },
]

# Set generation mode to `text` to perform text generation.
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(model_id,
            device_map="auto")

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    generation_mode="text",
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

output = model.generate(**inputs, max_new_tokens=40,generation_mode='text',do_sample=True)
text = processor.decode(output[0], skip_special_tokens=True)
print(text)

Çoklu görüntü çıkarımı

Janus, girdi olarak birden fazla görsel kullanarak çıkarım yapabilir; bu görseller, modelin birçok sohbeti paralel olarak işlediği toplu çıkarımda aynı istemciye veya farklı istemcilere ait olabilir. Bunu nasıl yapacağınız aşağıda gösterilmektedir:


from transformers import JanusForConditionalGeneration, JanusProcessor


model_id = "deepseek-community/Janus-Pro-1B"

image_urls = [
    "http://images.cocodataset.org/val2017/000000039769.jpg",
    "https://www.ilankelman.org/stopsigns/australia.jpg",
    "https://huggingface.co/microsoft/kosmos-2-patch14-224/resolve/main/snowman.jpg"
]

messages = [
    [
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "What’s the difference between"},
                {"type": "image", "url": image_urls[0]},
                {"type": "text", "text": " and "},
                {"type": "image", "url": image_urls[1]}
            ]
        }
    ],
    [
        {
            "role": "user",
            "content": [
                {"type": "image", "url": image_urls[2]},
                {"type": "text", "text": "What do you see in this image?"}
            ]
        }
    ]
]

# Load model and processor
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(
    model_id, device_map="auto"
)

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    generation_mode="text",
    tokenize=True,
    padding=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

# Generate response
output = model.generate(**inputs, max_new_tokens=40, generation_mode='text', do_sample=False)
text = processor.batch_decode(output, skip_special_tokens=True)
print(text)

Metinden Görüntüye Üretim

Janus, bir istem verildiğinde görsel de üretebilir.

from transformers import JanusForConditionalGeneration, JanusProcessor


# Set generation mode to `image` to prepare inputs for image generation..

model_id = "deepseek-community/Janus-Pro-1B"
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(model_id,
            device_map="auto")

messages = [
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "A dog running under the rain."},
        ],
     }
]

prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(text=prompt,generation_mode="image",return_tensors="pt").to(model.device)

# Set num_return_sequence parameter to generate multiple images per prompt.
model.generation_config.num_return_sequences = 2
outputs = model.generate(**inputs,
                         generation_mode="image",
                         do_sample=True,
                         use_cache=True,
                         )
# Perform post-processing on the generated token ids.
decoded_image = model.decode_image_tokens(outputs)
images = processor.postprocess(list(decoded_image.float()),return_tensors="PIL.Image.Image").to(model.device)
# Save the image
for i, image in enumerate(images['pixel_values']):
    image.save(f"result{i}.png")

Transformers

Janus

Genel Bakış

Kullanım Örneği

Tek görüntü çıkarımı

Çoklu görüntü çıkarımı

Metinden Görüntüye Üretim

JanusConfig

sınıf transformers.JanusConfig

JanusVisionConfig

sınıf transformers.JanusVisionConfig

JanusVQVAEConfig

sınıf transformers.JanusVQVAEConfig

JanusProcessor

sınıf transformers.JanusProcessor

__call__

JanusImageProcessor

sınıf transformers.JanusImageProcessor

ön işleme

JanusImageProcessorPil

sınıf transformers.JanusImageProcessorPil

ön işleme

JanusVisionModel

sınıf transformers.JanusVisionModel

forward

JanusVQVAE

sınıf transformers.JanusVQVAE

forward

JanusModel

sınıf transformers.JanusModel

forward

get_image_features

JanusForConditionalGeneration

sınıf transformers.JanusForConditionalGeneration

forward

call