# MusicGen Melody

## Tổng quan

Mô hình MusicGen Melody được đề xuất trong [Simple and Controllable Music Generation](https://huggingface.co/papers/2306.05284) bởi Jade Copet, Felix Kreuk, Itai Gat, Tal Remez, David Kant, Gabriel Synnaeve, Yossi Adi và Alexandre Défossez.

MusicGen Melody là một mô hình Transformer tự hồi quy một giai đoạn, có khả năng tạo ra các mẫu âm nhạc chất lượng cao dựa trên mô tả bằng văn bản hoặc các gợi ý âm thanh. Các mô tả văn bản được đưa qua một mô hình mã hóa văn bản đóng băng để thu được một chuỗi các biểu diễn trạng thái ẩn. Sau đó, MusicGen được huấn luyện để dự đoán các token âm thanh rời rạc, hay *mã âm thanh*, dựa trên các trạng thái ẩn này. Các token âm thanh này sau đó được giải mã bằng một mô hình nén âm thanh, chẳng hạn như EnCodec, để khôi phục dạng sóng âm thanh.

Thông qua một mẫu xen kẽ token hiệu quả, MusicGen không yêu cầu biểu diễn ngữ nghĩa tự giám sát của các prompt văn bản/âm thanh, do đó loại bỏ nhu cầu kết nối nhiều mô hình để dự đoán một tập hợp các codebook (ví dụ: theo cấp bậc hoặc upsampling). Thay vào đó, nó có thể tạo ra tất cả các codebook trong một lần forward pass duy nhất.

Tóm tắt từ bài báo như sau:

*Chúng tôi giải quyết bài toán tạo nhạc có điều kiện. Chúng tôi giới thiệu MusicGen, một mô hình ngôn ngữ (LM) đơn lẻ hoạt động trên nhiều luồng của biểu diễn nhạc rời rạc đã nén, tức là các token. Khác với các công trình trước, MusicGen bao gồm một LM transformer một giai đoạn cùng với các mẫu xen kẽ token hiệu quả, loại bỏ nhu cầu kết nối nhiều mô hình, chẳng hạn theo cấp bậc hoặc upsampling. Theo cách tiếp cận này, chúng tôi chứng minh cách MusicGen có thể tạo ra các mẫu chất lượng cao, trong khi được điều kiện bởi mô tả văn bản hoặc các đặc trưng giai điệu, cho phép kiểm soát tốt hơn đối với đầu ra được tạo. Chúng tôi tiến hành đánh giá thực nghiệm rộng rãi, xem xét cả các nghiên cứu tự động và nghiên cứu con người, cho thấy cách tiếp cận đề xuất vượt trội hơn so với các baseline được đánh giá trên một benchmark chuẩn về text-to-music. Thông qua các nghiên cứu ablation, chúng tôi làm sáng tỏ tầm quan trọng của từng thành phần cấu thành MusicGen.*

Mô hình này được đóng góp bởi [ylacombe](https://huggingface.co/ylacombe). Mã gốc có thể được tìm thấy [tại đây](https://github.com/facebookresearch/audiocraft). Các checkpoint được huấn luyện trước có thể được tìm thấy trên [Hugging Face Hub](https://huggingface.co/models?sort=downloads&search=facebook%2Fmusicgen).

## Khác biệt với [MusicGen](./musicgen)

Có hai điểm khác biệt chính so với MusicGen:

1. Prompt âm thanh được sử dụng ở đây như một tín hiệu điều kiện cho mẫu âm thanh được tạo ra, trong khi nó được dùng để tiếp nối âm thanh trong [MusicGen](./musicgen).
2. Các tín hiệu văn bản và âm thanh có điều kiện được nối vào các trạng thái ẩn của bộ giải mã thay vì được sử dụng như một tín hiệu chú ý chéo, như trong MusicGen.

## Sinh

MusicGen Melody tương thích với hai chế độ sinh: greedy và sampling. Trên thực tế, sampling cho kết quả tốt hơn đáng kể so với greedy, do đó chúng tôi khuyến khích sử dụng chế độ sampling khi có thể. Sampling được bật theo mặc định và có thể được chỉ định rõ bằng cách đặt `do_sample=True` trong lời gọi `MusicgenMelodyForConditionalGeneration.generate()`, hoặc bằng cách ghi đè cấu hình sinh của model (xem bên dưới).

Transformers hỗ trợ cả các biến thể mono (1 kênh) và stereo (2 kênh) của MusicGen Melody. Các phiên bản kênh mono tạo ra một bộ codebook duy nhất. Các phiên bản stereo tạo ra 2 bộ codebook, 1 cho mỗi kênh (trái/phải), và mỗi bộ codebook được giải mã độc lập thông qua mô hình nén âm thanh. Các luồng âm thanh cho mỗi kênh được kết hợp để tạo ra đầu ra stereo cuối cùng.

### Tạo có điều kiện theo âm thanh

Mô hình có thể tạo ra một mẫu âm thanh có điều kiện dựa trên văn bản và một prompt âm thanh thông qua việc sử dụng [MusicgenMelodyProcessor](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyProcessor) để tiền xử lý các đầu vào.

Trong các ví dụ sau, chúng ta sẽ tải một tệp âm thanh bằng thư viện 🤗 Datasets, có thể cài đặt qua pip bằng lệnh bên dưới:

```bash
pip install --upgrade pip
pip install datasets[audio]
```

Tệp âm thanh mà chúng ta sắp sử dụng được nạp như sau:

```python
from datasets import load_dataset

dataset = load_dataset("sanchit-gandhi/gtzan", split="train", streaming=True)
sample = next(iter(dataset))["audio"]
```

Đoạn âm thanh prompt lý tưởng nên không chứa các tín hiệu tần số thấp thường do các nhạc cụ như trống và bass tạo ra. Mô hình [Demucs](https://github.com/adefossez/demucs/tree/main) có thể được sử dụng để tách giọng hát và các tín hiệu khác khỏi các thành phần trống và bass.

Nếu bạn muốn sử dụng Demucs, trước tiên bạn cần làm theo các bước cài đặt [tại đây](https://github.com/adefossez/demucs/tree/main?tab=readme-ov-file#for-musicians) trước khi sử dụng đoạn mã sau:

```python
import torch
from demucs import pretrained
from demucs.apply import apply_model
from demucs.audio import convert_audio

wav = torch.tensor(sample["array"]).to(torch.float32)

demucs = pretrained.get_model('htdemucs')

wav = convert_audio(wav[None], sample["sampling_rate"], demucs.samplerate, demucs.audio_channels)
wav = apply_model(demucs, wav[None])
```

Sau đó, bạn có thể sử dụng đoạn mã sau để tạo nhạc:

```python
from transformers import AutoProcessor, MusicgenMelodyForConditionalGeneration

processor = AutoProcessor.from_pretrained("facebook/musicgen-melody")
model = MusicgenMelodyForConditionalGeneration.from_pretrained("facebook/musicgen-melody", device_map="auto")

inputs = processor(
    audio=wav,
    sampling_rate=demucs.samplerate,
    text=["80s blues track with groovy saxophone"],
    padding=True,
    return_tensors="pt",
)
audio_values = model.generate(**inputs, do_sample=True, guidance_scale=3, max_new_tokens=256)
```

Bạn cũng có thể truyền tín hiệu âm thanh trực tiếp mà không cần sử dụng Demucs, mặc dù chất lượng của quá trình tạo ra có thể bị giảm:

```python
from transformers import AutoProcessor, MusicgenMelodyForConditionalGeneration

processor = AutoProcessor.from_pretrained("facebook/musicgen-melody")
model = MusicgenMelodyForConditionalGeneration.from_pretrained("facebook/musicgen-melody", device_map="auto")

inputs = processor(
    audio=sample["array"],
    sampling_rate=sample["sampling_rate"],
    text=["80s blues track with groovy saxophone"],
    padding=True,
    return_tensors="pt",
)
audio_values = model.generate(**inputs, do_sample=True, guidance_scale=3, max_new_tokens=256)
```

Đầu ra âm thanh là một tensor Torch ba chiều có hình dạng `(batch_size, num_channels, sequence_length)`. Để nghe các mẫu âm thanh đã tạo, bạn có thể phát chúng trong một notebook ipynb:

```python
from IPython.display import Audio

sampling_rate = model.config.audio_encoder.sampling_rate
Audio(audio_values[0].numpy(), rate=sampling_rate)
```

Hoặc lưu chúng dưới dạng tệp `.wav` bằng thư viện bên thứ ba, ví dụ `soundfile`:

```python
import soundfile as sf

sampling_rate = model.config.audio_encoder.sampling_rate
sf.write("musicgen_out.wav", audio_values[0].T.numpy(), sampling_rate)
```

### Tạo có điều kiện chỉ bằng văn bản

[MusicgenMelodyProcessor](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyProcessor) tương tự có thể được sử dụng để tiền xử lý một prompt chỉ chứa văn bản.

```python
from transformers import AutoProcessor, MusicgenMelodyForConditionalGeneration

processor = AutoProcessor.from_pretrained("facebook/musicgen-melody")
model = MusicgenMelodyForConditionalGeneration.from_pretrained("facebook/musicgen-melody", device_map="auto")

inputs = processor(
    text=["80s pop track with bassy drums and synth", "90s rock song with loud guitars and heavy drums"],
    padding=True,
    return_tensors="pt",
)
audio_values = model.generate(**inputs, do_sample=True, guidance_scale=3, max_new_tokens=256)
```

`guidance_scale` được sử dụng trong classifier free guidance (CFG), thiết lập trọng số giữa các logits có điều kiện (được dự đoán từ các prompt văn bản) và các logits không điều kiện (được dự đoán từ một prompt không điều kiện hoặc 'null'). Giá trị guidance scale cao hơn khuyến khích mô hình tạo ra các mẫu liên kết chặt chẽ hơn với prompt đầu vào, thường phải đánh đổi bằng chất lượng âm thanh kém hơn. CFG được kích hoạt bằng cách đặt `guidance_scale > 1`. Để đạt kết quả tốt nhất, hãy sử dụng `guidance_scale=3` (mặc định).

Bạn cũng có thể tạo theo lô:

```python

from transformers import AutoProcessor, MusicgenMelodyForConditionalGeneration

processor = AutoProcessor.from_pretrained("facebook/musicgen-melody")
model = MusicgenMelodyForConditionalGeneration.from_pretrained("facebook/musicgen-melody", device_map="auto")

# take the first quarter of the audio sample
sample_1 = sample["array"][: len(sample["array"]) // 4]

# take the first half of the audio sample
sample_2 = sample["array"][: len(sample["array"]) // 2]

inputs = processor(
    audio=[sample_1, sample_2],
    sampling_rate=sample["sampling_rate"],
    text=["80s blues track with groovy saxophone", "90s rock song with loud guitars and heavy drums"],
    padding=True,
    return_tensors="pt",
)
audio_values = model.generate(**inputs, do_sample=True, guidance_scale=3, max_new_tokens=256)
```

### Tạo không điều kiện

Các đầu vào cho việc tạo không điều kiện (hoặc 'null') có thể được lấy thông qua phương thức [MusicgenMelodyProcessor.get_unconditional_inputs()](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyProcessor.get_unconditional_inputs):

```python
from transformers import MusicgenMelodyForConditionalGeneration, MusicgenMelodyProcessor

model = MusicgenMelodyForConditionalGeneration.from_pretrained("facebook/musicgen-melody", device_map="auto")
unconditional_inputs = MusicgenMelodyProcessor.from_pretrained("facebook/musicgen-melody").get_unconditional_inputs(num_samples=1)

audio_values = model.generate(**unconditional_inputs, do_sample=True, max_new_tokens=256)
```

### Cấu hình sinh

Các tham số mặc định kiểm soát quá trình sinh, chẳng hạn như lấy mẫu, thang độ dẫn hướng và số lượng token được sinh, có thể được tìm thấy trong cấu hình sinh của mô hình và được cập nhật theo mong muốn:

```python
from transformers import MusicgenMelodyForConditionalGeneration

model = MusicgenMelodyForConditionalGeneration.from_pretrained("facebook/musicgen-melody", device_map="auto")

# inspect the default generation config
model.generation_config

# increase the guidance scale to 4.0
model.generation_config.guidance_scale = 4.0

# decrease the max length to 256 tokens
model.generation_config.max_length = 256
```

Lưu ý rằng bất kỳ đối số nào được truyền vào phương thức generate sẽ **thay thế** các đối số trong cấu hình sinh, do đó việc đặt `do_sample=False` trong lời gọi generate sẽ thay thế cài đặt `model.generation_config.do_sample` trong cấu hình sinh.

## Cấu trúc Mô hình

Mô hình MusicGen có thể được tách thành ba giai đoạn riêng biệt:

1. Text encoder: ánh xạ các đầu vào văn bản thành một chuỗi các biểu diễn trạng thái ẩn. Các mô hình MusicGen được huấn luyện trước sử dụng một text encoder đóng băng từ T5 hoặc Flan-T5.
2. Bộ giải mã giai điệu MusicGen: một mô hình ngôn ngữ (LM) tạo ra các token âm thanh (hoặc mã) theo cách tự hồi quy, có điều kiện dựa trên các biểu diễn trạng thái ẩn của bộ mã hóa
3. Bộ giải mã âm thanh: được sử dụng để khôi phục dạng sóng âm thanh từ các token âm thanh do bộ giải mã dự đoán.

Do đó, mô hình MusicGen có thể được sử dụng như một mô hình decoder độc lập, tương ứng với lớp [MusicgenMelodyForCausalLM](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyForCausalLM), hoặc như một mô hình tổng hợp bao gồm text encoder và audio encoder, tương ứng với lớp [MusicgenMelodyForConditionalGeneration](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyForConditionalGeneration). Nếu chỉ cần nạp decoder từ checkpoint đã huấn luyện trước, nó có thể được nạp bằng cách đầu tiên chỉ định config chính xác, hoặc được truy cập thông qua thuộc tính `.decoder` của mô hình tổng hợp:

```python
from transformers import AutoConfig, MusicgenMelodyForCausalLM, MusicgenMelodyForConditionalGeneration

# Option 1: get decoder config and pass to `.from_pretrained`
decoder_config = AutoConfig.from_pretrained("facebook/musicgen-melody").decoder
decoder = MusicgenMelodyForCausalLM.from_pretrained("facebook/musicgen-melody", **decoder_config.to_dict(), device_map="auto")

# Option 2: load the entire composite model, but only return the decoder
decoder = MusicgenMelodyForConditionalGeneration.from_pretrained("facebook/musicgen-melody", device_map="auto").decoder
```

Vì các mô hình text encoder và audio encoder được đóng băng trong quá trình huấn luyện, mô hình decoder MusicGen [MusicgenMelodyForCausalLM](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyForCausalLM) có thể được huấn luyện độc lập trên một tập dữ liệu gồm hidden-states của encoder và audio codes. Khi suy luận, decoder đã được huấn luyện có thể được kết hợp với text encoder và audio encoder đóng băng để khôi phục mô hình tổng hợp [MusicgenMelodyForConditionalGeneration](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyForConditionalGeneration).

## Chuyển đổi điểm kiểm tra

- Sau khi tải xuống các checkpoint gốc từ [đây](https://github.com/facebookresearch/audiocraft/blob/main/docs/MUSICGEN.md#importing--exporting-models), bạn có thể chuyển đổi chúng bằng **script chuyển đổi** có sẵn tại `src/transformers/models/musicgen_melody/convert_musicgen_melody_transformers.py` với lệnh sau:

```bash
python src/transformers/models/musicgen_melody/convert_musicgen_melody_transformers.py \
    --checkpoint="facebook/musicgen-melody" --pytorch_dump_folder /output/path 
```

Mẹo:

* MusicGen được huấn luyện trên checkpoint 32kHz của Encodec. Bạn nên đảm bảo sử dụng phiên bản Encodec tương thích.
* Chế độ Sampling thường cho kết quả tốt hơn so với greedy - bạn có thể bật/tắt sampling bằng biến `do_sample` trong lời gọi `MusicgenMelodyForConditionalGeneration.generate()`

## MusicgenMelodyDecoderConfig[[transformers.MusicgenMelodyDecoderConfig]]

#### transformers.MusicgenMelodyDecoderConfig[[transformers.MusicgenMelodyDecoderConfig]]

```python
transformers.MusicgenMelodyDecoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 2048, max_position_embeddings: int = 2048, num_hidden_layers: int = 24, ffn_dim: int = 4096, num_attention_heads: int = 16, layerdrop: float | int = 0.0, use_cache: bool = True, activation_function: str = 'gelu', hidden_size: int = 1024, dropout: float | int = 0.1, attention_dropout: float | int = 0.0, activation_dropout: float | int = 0.0, initializer_factor: float = 0.02, scale_embedding: bool = False, num_codebooks: int = 4, audio_channels: int = 1, pad_token_id: int | None = 2048, bos_token_id: int | None = 2048, eos_token_id: int | list[int] | None = None, tie_word_embeddings: bool = False, is_decoder: bool = False, add_cross_attention: bool = False)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/musicgen_melody/configuration_musicgen_melody.py#L28)

**Tham số:**

vocab_size (`int`, *tùy chọn*, mặc định là `2048`) : Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởi `input_ids`.

max_position_embeddings (`int`, *tuỳ chọn*, mặc định là `2048`) : Độ dài chuỗi tối đa mà mô hình này có thể được sử dụng.

num_hidden_layers (`int`, *tuỳ chọn*, mặc định là `24`) : Số lượng lớp ẩn trong bộ giải mã Transformer.

ffn_dim (`int`, *tuỳ chọn*, mặc định là `4096`) : Kích thước của các biểu diễn MLP.

num_attention_heads (`int`, *tuỳ chọn*, mặc định là `16`) : Số lượng đầu chú ý cho mỗi lớp chú ý trong bộ giải mã Transformer.

layerdrop (`Union[float, int]`, *tùy chọn*, mặc định là `0.0`) : Xác suất LayerDrop. Xem [bài báo LayerDrop](see https://huggingface.co/papers/1909.11556) để biết thêm chi tiết.

use_cache (`bool`, *tùy chọn*, mặc định là `True`) : Xác định xem mô hình có nên trả về các chú ý key/values cuối cùng hay không (không được sử dụng bởi tất cả các mô hình). Chỉ liên quan nếu `config.is_decoder=True` hoặc khi mô hình là mô hình sinh chỉ có decoder.

activation_function (`str`, *tùy chọn*, mặc định là `gelu`) : Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, `"gelu"`, `"relu"`, `"silu"`, v.v.

hidden_size (`int`, *tuỳ chọn*, mặc định là `1024`) : Kích thước của các biểu diễn ẩn.

dropout (`Union[float, int]`, *tùy chọn*, mặc định là `0.1`) : Tỷ lệ cho tất cả các lớp dropout.

attention_dropout (`Union[float, int]`, *tùy chọn*, mặc định là `0.0`) : Tỷ lệ dropout cho các xác suất chú ý.

activation_dropout (`Union[float, int]`, *tùy chọn*, mặc định là `0.0`) : Tỷ lệ dropout cho các kích hoạt bên trong lớp liên kết đầy đủ.

initializer_factor (`float`, *optional*, mặc định là `0.02`) : Hệ số để khởi tạo tất cả các ma trận trọng số (nên giữ ở mức 1, được sử dụng bên trong cho việc kiểm tra khởi tạo).

scale_embedding (`bool`, *tùy chọn*, mặc định là `False`) : Có nên chia embeddings cho sqrt(d_model) để chuẩn hóa hay không.

num_codebooks (`int`, *tuỳ chọn*, mặc định là `4`) : Số lượng codebook song song được mô hình sử dụng.

audio_channels (`int`, *optional*, mặc định là 1) : Số kênh âm thanh được sử dụng bởi mô hình (mono hoặc stereo). Mô hình stereo tạo ra một luồng âm thanh riêng biệt cho các kênh đầu ra trái/phải. Mô hình mono tạo ra một luồng âm thanh đầu ra duy nhất.

pad_token_id (`int`, *tuỳ chọn*, mặc định là `2048`) : Id của token được sử dụng để đệm (padding) trong từ vựng.

bos_token_id (`int`, *tuỳ chọn*, mặc định là `2048`) : Token id được sử dụng cho đầu luồng (beginning-of-stream) trong bảng từ vựng.

eos_token_id (`Union[int, list[int]]`, *tùy chọn*) : Id của token được sử dụng cho end-of-stream trong bảng từ vựng.

tie_word_embeddings (`bool`, *tùy chọn*, mặc định là `False`) : Có nên gắn kết các nhúng trọng số theo ánh xạ `tied_weights_keys` của mô hình hay không.

is_decoder (`bool`, *tùy chọn*, mặc định là `False`) : Xác định xem mô hình có được sử dụng như một bộ giải mã (decoder) hay không. Nếu `False`, mô hình sẽ được sử dụng như một bộ mã hóa (encoder).

add_cross_attention (`bool`, *tùy chọn*, mặc định là `False`) : Xác định xem có nên thêm các lớp cross-attention vào mô hình hay không.

Đây là lớp cấu hình để lưu trữ cấu hình của một MusicgenMelodyModel. Nó được sử dụng để khởi tạo một mô hình Musicgen Melody theo các đối số được chỉ định, xác định kiến trúc mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như của [facebook/musicgen-melody](https://huggingface.co/facebook/musicgen-melody)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

## MusicgenMelodyProcessor[[transformers.MusicgenMelodyProcessor]]

#### transformers.MusicgenMelodyProcessor[[transformers.MusicgenMelodyProcessor]]

```python
transformers.MusicgenMelodyProcessor(feature_extractor, tokenizer)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/musicgen_melody/processing_musicgen_melody.py#L29)

**Tham số:**

feature_extractor (`MusicgenMelodyFeatureExtractor`) : Bộ trích xuất đặc trưng là một đầu vào bắt buộc.

tokenizer (`T5Tokenizer`) : Tokenizer là đầu vào bắt buộc.

Tạo một MusicgenMelodyProcessor, đóng gói một feature extractor và một tokenizer thành một processor duy nhất.

[MusicgenMelodyProcessor](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyProcessor) cung cấp đầy đủ các chức năng của [MusicgenMelodyFeatureExtractor](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyFeatureExtractor) và [T5Tokenizer](/docs/transformers/v5.23.0/vi/model_doc/t5#transformers.T5Tokenizer). Xem [~MusicgenMelodyFeatureExtractor](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyFeatureExtractor) và [~T5Tokenizer](/docs/transformers/v5.23.0/vi/model_doc/t5#transformers.T5Tokenizer) để biết thêm thông tin.

#### __call__[[transformers.MusicgenMelodyProcessor.__call__]]

```python
__call__(*args, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/musicgen_melody/processing_musicgen_melody.py#L37)

**Tham số:**

return_tensors (`str` hoặc [TensorType](/docs/transformers/v5.23.0/vi/internal/file_utils#transformers.TensorType), *optional*) : Nếu được đặt, sẽ trả về các tensor của một framework cụ thể. Các giá trị chấp nhận được là:  - `'pt'`: Trả về các đối tượng `torch.Tensor` của PyTorch. - `'np'`: Trả về các đối tượng `np.ndarray` của NumPy.

#### get_unconditional_inputs[[transformers.MusicgenMelodyProcessor.get_unconditional_inputs]]

```python
get_unconditional_inputs(num_samples = 1, return_tensors = 'pt')
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/musicgen_melody/processing_musicgen_melody.py#L90)

**Tham số:**

num_samples (int, *tùy chọn*) : Số lượng mẫu âm thanh cần tạo ra một cách vô điều kiện.

Hàm phụ trợ để lấy các đầu vào null cho việc tạo không điều kiện, cho phép mô hình được sử dụng mà không cần bộ trích xuất đặc trưng hoặc bộ mã hóa.

Ví dụ:
```python
>>> from transformers import MusicgenMelodyForConditionalGeneration, MusicgenMelodyProcessor

>>> model = MusicgenMelodyForConditionalGeneration.from_pretrained("facebook/musicgen-melody")

>>> # get the unconditional (or 'null') inputs for the model
>>> processor = MusicgenMelodyProcessor.from_pretrained("facebook/musicgen-melody")
>>> unconditional_inputs = processor.get_unconditional_inputs(num_samples=1)

>>> audio_samples = model.generate(**unconditional_inputs, max_new_tokens=256)
```

## MusicgenMelodyFeatureExtractor[[transformers.MusicgenMelodyFeatureExtractor]]

#### transformers.MusicgenMelodyFeatureExtractor[[transformers.MusicgenMelodyFeatureExtractor]]

```python
transformers.MusicgenMelodyFeatureExtractor(feature_size = 12, sampling_rate = 32000, hop_length = 4096, chunk_length = 30, n_fft = 16384, num_chroma = 12, padding_value = 0.0, return_attention_mask = False, stem_indices = [3, 2], **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/musicgen_melody/feature_extraction_musicgen_melody.py#L40)

**Tham số:**

feature_size (`int`, *tuỳ chọn*, mặc định là 12) : Kích thước chiều của các đặc trưng đã trích xuất.

sampling_rate (`int`, *optional*, mặc định là 32000) : Tần số lấy mẫu (sampling rate) mà các tệp âm thanh nên được số hóa, được biểu diễn bằng hertz (Hz).

hop_length (`int`, *optional*, mặc định là 4096) : Độ dài của các cửa sổ chồng lấp cho STFT được sử dụng để lấy các hệ số Mel Frequency.

chunk_length (`int`, *optional*, mặc định là 30) : Số lượng tối đa các khối gồm `sampling_rate` mẫu được sử dụng để cắt và đệm các chuỗi âm thanh dài hơn hoặc ngắn hơn.

n_fft (`int`, *tuỳ chọn*, mặc định là 16384) : Kích thước của phép biến đổi Fourier.

num_chroma (`int`, *tuỳ chọn*, mặc định là 12) : Số lượng bin chroma cần sử dụng.

padding_value (`float`, *optional*, mặc định là 0.0) : Giá trị đệm được sử dụng để đệm âm thanh.

return_attention_mask (`bool`, *tuỳ chọn*, mặc định là `False`) : Có nên trả về attention mask hay không. Có thể ghi đè khi gọi feature extractor.  [Attention mask là gì?](../glossary#attention-mask)    Đối với các mô hình Whisper, `attention_mask` luôn phải được truyền vào khi suy luận theo lô (batched inference) để tránh các lỗi tinh vi.

stem_indices (`list[int]`, *tuỳ chọn*, mặc định là `[3, 2]`) : Số kênh stem cần trích xuất nếu đầu ra của demucs được truyền vào.

Tạo một bộ trích xuất đặc trưng MusicgenMelody.

Feature extractor này kế thừa từ [SequenceFeatureExtractor](/docs/transformers/v5.23.0/vi/main_classes/feature_extractor#transformers.SequenceFeatureExtractor), bao gồm hầu hết các phương thức chính. Người dùng nên tham khảo lớp cha này để biết thêm thông tin về các phương thức đó.

Lớp này trích xuất các đặc trưng chroma từ âm thanh đã được xử lý bởi [Demucs](https://github.com/adefossez/demucs/tree/main) hoặc trực tiếp từ dạng sóng âm thanh thô.

## MusicgenMelodyConfig[[transformers.MusicgenMelodyConfig]]

#### transformers.MusicgenMelodyConfig[[transformers.MusicgenMelodyConfig]]

```python
transformers.MusicgenMelodyConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, text_encoder: dict | transformers.configuration_utils.PreTrainedConfig | None = None, audio_encoder: dict | transformers.configuration_utils.PreTrainedConfig | None = None, decoder: dict | transformers.configuration_utils.PreTrainedConfig | None = None, num_chroma: int = 12, chroma_length: int = 235, initializer_factor: float = 0.02)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/musicgen_melody/configuration_musicgen_melody.py#L86)

**Tham số:**

text_encoder (`Union[dict, `PretrainedConfig`]`) : Một instance của đối tượng cấu hình định nghĩa cấu hình text encoder.

audio_encoder (`Union[dict, `PretrainedConfig`]`) : Một instance của đối tượng cấu hình xác định cấu hình bộ mã hóa âm thanh.

decoder (`Union[dict, `PretrainedConfig`]`) : Một instance của đối tượng cấu hình định nghĩa cấu hình decoder.

num_chroma (`int`, *tuỳ chọn*, mặc định là 12) : Số lượng bin chroma cần sử dụng.

chroma_length (`int`, *optional*, mặc định là 235) : Thời lượng chroma tối đa nếu âm thanh được sử dụng để điều kiện hóa mô hình. Tương ứng với thời lượng tối đa được sử dụng trong quá trình huấn luyện.

initializer_factor (`float`, *optional*, mặc định là `0.02`) : Hệ số để khởi tạo tất cả các ma trận trọng số (nên giữ ở mức 1, được sử dụng bên trong cho việc kiểm tra khởi tạo).

Đây là lớp cấu hình để lưu trữ cấu hình của một MusicgenMelodyModel. Nó được sử dụng để khởi tạo một mô hình Musicgen Melody theo các đối số được chỉ định, xác định kiến trúc mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như của [facebook/musicgen-melody](https://huggingface.co/facebook/musicgen-melody)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

Ví dụ:

```python
>>> from transformers import (
...     MusicgenMelodyConfig,
...     MusicgenMelodyDecoderConfig,
...     T5Config,
...     EncodecConfig,
...     MusicgenMelodyForConditionalGeneration,
... )

>>> # Initializing text encoder, audio encoder, and decoder model configurations
>>> text_encoder_config = T5Config()
>>> audio_encoder_config = EncodecConfig()
>>> decoder_config = MusicgenMelodyDecoderConfig()

>>> configuration = MusicgenMelodyConfig(
...     text_encoder=text_encoder_config, audio_encoder=audio_encoder_config, decoder=decoder_config
... )

>>> # Initializing a MusicgenMelodyForConditionalGeneration (with random weights) from the facebook/musicgen-melody style configuration
>>> model = MusicgenMelodyForConditionalGeneration(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
>>> config_text_encoder = model.config.text_encoder
>>> config_audio_encoder = model.config.audio_encoder
>>> config_decoder = model.config.decoder

>>> # Saving the model, including its configuration
>>> model.save_pretrained("musicgen_melody-model")

>>> # loading model and config from pretrained folder
>>> musicgen_melody_config = MusicgenMelodyConfig.from_pretrained("musicgen_melody-model")
>>> model = MusicgenMelodyForConditionalGeneration.from_pretrained("musicgen_melody-model", config=musicgen_melody_config)
```

## MusicgenMelodyModel[[transformers.MusicgenMelodyModel]]

#### transformers.MusicgenMelodyModel[[transformers.MusicgenMelodyModel]]

```python
transformers.MusicgenMelodyModel(config: MusicgenMelodyDecoderConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/musicgen_melody/modeling_musicgen_melody.py#L539)

**Tham số:**

config ([MusicgenMelodyDecoderConfig](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyDecoderConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình Musicgen Melody cơ bản, tạo ra các hidden-states thô mà không có bất kỳ head cụ thể nào ở phía trên.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.MusicgenMelodyModel.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, encoder_hidden_states: typing.Optional[torch.Tensor] = None, encoder_attention_mask: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/musicgen_melody/modeling_musicgen_melody.py#L552)

**Tham số:**

input_ids (`torch.LongTensor` có shape `(batch_size * num_codebooks, sequence_length)`) : Chỉ số của các token trong chuỗi đầu vào thuộc từ vựng, tương ứng với chuỗi mã âm thanh.  Các chỉ số này có thể được lấy bằng cách mã hóa một prompt âm thanh bằng mô hình mã hóa âm thanh để dự đoán các mã âm thanh, chẳng hạn như sử dụng [EncodecModel](/docs/transformers/v5.23.0/vi/model_doc/encodec#transformers.EncodecModel). Xem [EncodecModel.encode()](/docs/transformers/v5.23.0/vi/model_doc/encodec#transformers.EncodecModel.encode) để biết chi tiết.  [Các input IDs là gì?](../glossary#input-ids)    `input_ids` sẽ được tự động chuyển đổi từ shape `(batch_size * num_codebooks, target_sequence_length)` sang `(batch_size, num_codebooks, target_sequence_length)` trong quá trình forward pass. Nếu bạn lấy các mã âm thanh từ một mô hình mã hóa âm thanh, chẳng hạn như [EncodecModel](/docs/transformers/v5.23.0/vi/model_doc/encodec#transformers.EncodecModel), hãy đảm bảo rằng số lượng frames bằng 1, và rằng bạn đã reshape các mã âm thanh từ `(frames, batch_size, num_codebooks, target_sequence_length)` sang `(batch_size * num_codebooks, target_sequence_length)` trước khi truyền chúng dưới dạng `input_ids`.

attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

encoder_hidden_states (`torch.Tensor` có shape `(batch_size, encoder_sequence_length, hidden_size)`, *tùy chọn*) : Chuỗi hidden-states đại diện cho phép nối kết quả đầu ra của text encoder và kết quả đầu ra đã xử lý của audio encoder. Được sử dụng làm tín hiệu điều kiện và do đó sẽ được nối với `decoder_input_ids` đã được chiếu (projected).

encoder_attention_mask (`torch.LongTensor` có hình dạng `(batch_size, encoder_sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các trạng thái ẩn có điều kiện. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

past_key_values (`~cache_utils.Cache`, *tùy chọn*) : Các hidden-states đã tính trước (key và values trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm `past_key_values` do mô hình trả về ở một giai đoạn giải mã trước đó, khi `use_cache=True` hoặc `config.use_cache=True`.  Chỉ cho phép [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache) instance làm đầu vào, xem [hướng dẫn kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi. Nếu không truyền `past_key_values`, [DynamicCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.DynamicCache) sẽ được khởi tạo theo mặc định.  Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.  Nếu sử dụng `past_key_values`, người dùng được kỳ vọng chỉ nhập các `input_ids` chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có shape `(batch_size, unprocessed_length)` thay vì tất cả `input_ids` có shape `(batch_size, sequence_length)`.

inputs_embeds (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) : Tùy chọn, thay vì truyền `input_ids`, bạn có thể chọn cách truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số `input_ids` thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

use_cache (`bool`, *tùy chọn*) : Nếu được đặt thành `True`, các trạng thái khóa và giá trị `past_key_values` sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem `past_key_values`).

**Trả về:** [BaseModelOutputWithPast](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) hoặc `tuple(torch.Tensor)`

Một [BaseModelOutputWithPast](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình (`None`) và đầu vào.

Phương thức forward của [MusicgenMelodyModel](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyModel) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`) -- Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.

  Nếu `past_key_values` được sử dụng, chỉ có hidden-state cuối cùng của các chuỗi có shape `(batch_size, 1, hidden_size)` được xuất ra.
- **past_key_values** (`Cache`, *tùy chọn*, được trả về khi `use_cache=True` được truyền vào hoặc khi `config.use_cache=True`) -- Đây là một instance của [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache). Để biết thêm chi tiết, hãy xem [hướng dẫn về kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi.

  Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và tùy chọn nếu `config.is_encoder_decoder=True` trong các khối cross-attention) có thể được sử dụng (xem đầu vào `past_key_values`) để tăng tốc độ giải mã tuần tự.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

## MusicgenMelodyForCausalLM[[transformers.MusicgenMelodyForCausalLM]]

#### transformers.MusicgenMelodyForCausalLM[[transformers.MusicgenMelodyForCausalLM]]

```python
transformers.MusicgenMelodyForCausalLM(config: MusicgenMelodyDecoderConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/musicgen_melody/modeling_musicgen_melody.py#L623)

**Tham số:**

config ([MusicgenMelodyDecoderConfig](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyDecoderConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình giải mã Musicgen Melody có đầu mô hình hóa ngôn ngữ phía trên.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.MusicgenMelodyForCausalLM.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, encoder_hidden_states: typing.Optional[torch.Tensor] = None, encoder_attention_mask: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, labels: typing.Optional[torch.LongTensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/musicgen_melody/modeling_musicgen_melody.py#L651)

**Tham số:**

input_ids (`torch.LongTensor` có shape `(batch_size * num_codebooks, sequence_length)`) : Chỉ số của các token trong chuỗi đầu vào thuộc từ vựng, tương ứng với chuỗi mã âm thanh.  Các chỉ số này có thể được lấy bằng cách mã hóa một prompt âm thanh bằng mô hình mã hóa âm thanh để dự đoán các mã âm thanh, chẳng hạn như sử dụng [EncodecModel](/docs/transformers/v5.23.0/vi/model_doc/encodec#transformers.EncodecModel). Xem [EncodecModel.encode()](/docs/transformers/v5.23.0/vi/model_doc/encodec#transformers.EncodecModel.encode) để biết chi tiết.  [Các input IDs là gì?](../glossary#input-ids)    `input_ids` sẽ được tự động chuyển đổi từ shape `(batch_size * num_codebooks, target_sequence_length)` sang `(batch_size, num_codebooks, target_sequence_length)` trong quá trình forward pass. Nếu bạn lấy các mã âm thanh từ một mô hình mã hóa âm thanh, chẳng hạn như [EncodecModel](/docs/transformers/v5.23.0/vi/model_doc/encodec#transformers.EncodecModel), hãy đảm bảo rằng số lượng frames bằng 1, và rằng bạn đã reshape các mã âm thanh từ `(frames, batch_size, num_codebooks, target_sequence_length)` sang `(batch_size * num_codebooks, target_sequence_length)` trước khi truyền chúng dưới dạng `input_ids`.

attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

encoder_hidden_states (`torch.Tensor` có shape `(batch_size, encoder_sequence_length, hidden_size)`, *tùy chọn*) : Chuỗi hidden-states đại diện cho phép nối kết quả đầu ra của text encoder và kết quả đầu ra đã xử lý của audio encoder. Được sử dụng làm tín hiệu điều kiện và do đó sẽ được nối với `decoder_input_ids` đã được chiếu (projected).

encoder_attention_mask (`torch.LongTensor` có hình dạng `(batch_size, encoder_sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các trạng thái ẩn có điều kiện. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

past_key_values (`~cache_utils.Cache`, *tùy chọn*) : Các hidden-states đã tính trước (key và values trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm `past_key_values` do mô hình trả về ở một giai đoạn giải mã trước đó, khi `use_cache=True` hoặc `config.use_cache=True`.  Chỉ cho phép [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache) instance làm đầu vào, xem [hướng dẫn kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi. Nếu không truyền `past_key_values`, [DynamicCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.DynamicCache) sẽ được khởi tạo theo mặc định.  Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.  Nếu sử dụng `past_key_values`, người dùng được kỳ vọng chỉ nhập các `input_ids` chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có shape `(batch_size, unprocessed_length)` thay vì tất cả `input_ids` có shape `(batch_size, sequence_length)`.

inputs_embeds (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) : Tùy chọn, thay vì truyền `input_ids`, bạn có thể chọn cách truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số `input_ids` thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

use_cache (`bool`, *tùy chọn*) : Nếu được đặt thành `True`, các trạng thái khóa và giá trị `past_key_values` sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem `past_key_values`).

labels (`torch.LongTensor` có hình dạng `(batch_size, sequence_length, num_codebooks)`, *tùy chọn*) : Nhãn cho mô hình hóa ngôn ngữ. Lưu ý rằng các nhãn **được dịch chuyển** bên trong mô hình, tức là bạn có thể đặt `labels = input_ids` Các chỉ số được chọn trong `[-100, 0, ..., config.vocab_size]` Tất cả các nhãn được đặt thành `-100` sẽ bị bỏ qua (che), tổn thất chỉ được tính cho các nhãn trong `[0, ..., config.vocab_size]`

**Trả về:** `MusicgenMelodyOutputWithPast` hoặc `tuple(torch.Tensor)`

Một `MusicgenMelodyOutputWithPast` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([MusicgenMelodyConfig](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyConfig)) và đầu vào.

Phương thức forward của [MusicgenMelodyForCausalLM](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyForCausalLM) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có shape `(1,)`, *optional*, được trả về khi `labels` được cung cấp) -- Loss của language modeling (cho next-token prediction).
- **logits** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, config.vocab_size)`) -- Điểm dự đoán của đầu mô hình hóa ngôn ngữ (điểm cho mỗi token từ vựng trước SoftMax).
- **past_key_values** (`Cache`, *tùy chọn*, được trả về khi `use_cache=True` được truyền vào hoặc khi `config.use_cache=True`) -- Đây là một instance của [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache). Để biết thêm chi tiết, hãy xem [hướng dẫn về kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi.

  Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention) có thể được sử dụng (xem đầu vào `past_key_values`) để tăng tốc độ giải mã tuần tự.
- **hidden_states** (`tuple[torch.Tensor]`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple các `torch.Tensor` (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple[torch.Tensor]`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
- **encoder_hidden_states** (`torch.Tensor` có shape `(batch_size, encoder_sequence_length, hidden_size)`, *optional*) -- Chuỗi các hidden-states điều kiện đại diện cho phép nối giữa đầu ra của text encoder đã được chiếu và đầu ra của audio encoder đã được chiếu. Được sử dụng làm tín hiệu điều kiện.

Ví dụ:

```python
```

## MusicgenMelodyForConditionalGeneration[[transformers.MusicgenMelodyForConditionalGeneration]]

#### transformers.MusicgenMelodyForConditionalGeneration[[transformers.MusicgenMelodyForConditionalGeneration]]

```python
transformers.MusicgenMelodyForConditionalGeneration(config: MusicgenMelodyConfig = None, text_encoder: transformers.modeling_utils.PreTrainedModel | None = None, audio_encoder: transformers.modeling_utils.PreTrainedModel | None = None, decoder: transformers.models.musicgen_melody.modeling_musicgen_melody.MusicgenMelodyForCausalLM | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/musicgen_melody/modeling_musicgen_melody.py#L1091)

**Tham số:**

config ([MusicgenMelodyConfig](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyConfig), *optional*) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

text_encoder (`PreTrainedModel`, *tùy chọn*) : Mô hình mã hóa văn bản, mã hóa văn bản thành các trạng thái ẩn để điều kiện hóa.

audio_encoder (`PreTrainedModel`, *tùy chọn*) : Mô hình mã hóa âm thanh mã hóa âm thanh thành các trạng thái ẩn để điều kiện.

decoder (`MusicgenMelodyForCausalLM`, *tùy chọn*) : Mô hình giải mã tạo ra các token âm thanh dựa trên các tín hiệu điều kiện.

Mô hình Musicgen Melody cho việc tạo token có điều kiện dựa trên các phương thức khác (ví dụ: tạo văn bản từ hình ảnh-văn bản).

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.MusicgenMelodyForConditionalGeneration.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.BoolTensor] = None, input_features: typing.Optional[torch.Tensor] = None, decoder_input_ids: typing.Optional[torch.LongTensor] = None, decoder_attention_mask: typing.Optional[torch.BoolTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, encoder_hidden_states: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, decoder_inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/musicgen_melody/modeling_musicgen_melody.py#L1388)

**Tham số:**

input_ids (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào theo từ vựng. Mặc định, các token đệm (padding) sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết chi tiết. [ID đầu vào là gì?](../glossary#input-ids)

attention_mask (`torch.BoolTensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

input_features (`torch.Tensor` có shape `(batch_size, sequence_length, feature_dim)`, *tùy chọn*) : Các tensor tương ứng với các đặc trưng âm thanh đầu vào. Các đặc trưng âm thanh có thể được lấy bằng [MusicgenMelodyFeatureExtractor](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyFeatureExtractor). Xem `MusicgenMelodyFeatureExtractor.__call__()` để biết chi tiết ([MusicgenMelodyProcessor](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyProcessor) sử dụng [MusicgenMelodyFeatureExtractor](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyFeatureExtractor) để xử lý âm thanh).

decoder_input_ids (`torch.LongTensor` có shape `(batch_size * num_codebooks, target_sequence_length)`, *optional*) : Chỉ số của các token trong chuỗi đầu vào của decoder trong bảng từ vựng, tương ứng với chuỗi mã âm thanh.  Các chỉ số có thể được lấy bằng cách mã hóa một prompt âm thanh bằng mô hình mã hóa âm thanh để dự đoán các mã âm thanh, chẳng hạn như với [EncodecModel](/docs/transformers/v5.23.0/vi/model_doc/encodec#transformers.EncodecModel). Xem [EncodecModel.encode()](/docs/transformers/v5.23.0/vi/model_doc/encodec#transformers.EncodecModel.encode) để biết chi tiết.  [Các ID đầu vào của decoder là gì?](../glossary#decoder-input-ids)    `decoder_input_ids` sẽ được tự động chuyển đổi từ shape `(batch_size * num_codebooks, target_sequence_length)` sang `(batch_size, num_codebooks, target_sequence_length)` trong quá trình forward pass. Nếu bạn lấy các mã âm thanh từ một mô hình mã hóa âm thanh, chẳng hạn như [EncodecModel](/docs/transformers/v5.23.0/vi/model_doc/encodec#transformers.EncodecModel), hãy đảm bảo rằng số lượng khung (frames) bằng 1, và rằng bạn thay đổi shape của các mã âm thanh từ `(frames, batch_size, num_codebooks, target_sequence_length)` sang `(batch_size * num_codebooks, target_sequence_length)` trước khi truyền chúng dưới dạng `decoder_input_ids`.

decoder_attention_mask (`torch.LongTensor` có hình dạng `(batch_size, target_sequence_length)`, *tùy chọn*) : Hành vi mặc định: tạo một tensor bỏ qua các token pad trong `decoder_input_ids`. Mặt nạ nhân quả (causal mask) cũng sẽ được sử dụng theo mặc định.

past_key_values (`~cache_utils.Cache`, *tùy chọn*) : Các hidden-states đã tính trước (key và values trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm `past_key_values` do mô hình trả về ở một giai đoạn giải mã trước đó, khi `use_cache=True` hoặc `config.use_cache=True`.  Chỉ cho phép [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache) instance làm đầu vào, xem [hướng dẫn kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi. Nếu không truyền `past_key_values`, [DynamicCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.DynamicCache) sẽ được khởi tạo theo mặc định.  Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.  Nếu sử dụng `past_key_values`, người dùng được kỳ vọng chỉ nhập các `input_ids` chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có shape `(batch_size, unprocessed_length)` thay vì tất cả `input_ids` có shape `(batch_size, sequence_length)`.

encoder_hidden_states (`torch.Tensor` có shape `(batch_size, encoder_sequence_length, hidden_size)`, *tùy chọn*) : Chuỗi các hidden-state điều kiện đại diện cho phép nối giữa đầu ra của text encoder đã được chiếu và đầu ra của audio encoder đã được chiếu. Được sử dụng như một tín hiệu điều kiện và do đó sẽ được nối với `decoder_input_ids` đã được chiếu.

inputs_embeds (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) : Tùy chọn, thay vì truyền `input_ids`, bạn có thể chọn cách truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số `input_ids` thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

decoder_inputs_embeds (`torch.Tensor` có shape `(batch_size, target_sequence_length, hidden_size)`, *tùy chọn*) : Tùy chọn, thay vì truyền `decoder_input_ids`, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Nếu `past_key_values` được sử dụng, tùy chọn chỉ cần nhập `decoder_inputs_embeds` cuối cùng (xem `past_key_values`). Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số `decoder_input_ids` thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình. Nếu cả `decoder_input_ids` và `decoder_inputs_embeds` đều không được đặt, `decoder_inputs_embeds` sẽ nhận giá trị của `inputs_embeds`.

labels (`torch.LongTensor` có hình dạng `(batch_size, sequence_length, num_codebooks)`, *tùy chọn*) : Nhãn cho mô hình hóa ngôn ngữ. Lưu ý rằng các nhãn **được dịch chuyển** bên trong mô hình, tức là bạn có thể đặt `labels = input_ids` Các chỉ số được chọn trong `[-100, 0, ..., config.vocab_size]` Tất cả các nhãn được đặt thành `-100` sẽ bị bỏ qua (che), tổn thất chỉ được tính cho các nhãn trong `[0, ..., config.vocab_size]`

use_cache (`bool`, *tùy chọn*) : Nếu được đặt thành `True`, các trạng thái khóa và giá trị `past_key_values` sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem `past_key_values`).

**Trả về:** `MusicgenMelodyOutputWithPast` hoặc `tuple(torch.Tensor)`

Một `MusicgenMelodyOutputWithPast` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([MusicgenMelodyConfig](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyConfig)) và đầu vào.

Phương thức forward của [MusicgenMelodyForConditionalGeneration](/docs/transformers/v5.23.0/vi/model_doc/musicgen_melody#transformers.MusicgenMelodyForConditionalGeneration) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có shape `(1,)`, *optional*, được trả về khi `labels` được cung cấp) -- Loss của language modeling (cho next-token prediction).
- **logits** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, config.vocab_size)`) -- Điểm dự đoán của đầu mô hình hóa ngôn ngữ (điểm cho mỗi token từ vựng trước SoftMax).
- **past_key_values** (`Cache`, *tùy chọn*, được trả về khi `use_cache=True` được truyền vào hoặc khi `config.use_cache=True`) -- Đây là một instance của [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache). Để biết thêm chi tiết, hãy xem [hướng dẫn về kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi.

  Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention) có thể được sử dụng (xem đầu vào `past_key_values`) để tăng tốc độ giải mã tuần tự.
- **hidden_states** (`tuple[torch.Tensor]`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple các `torch.Tensor` (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple[torch.Tensor]`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
- **encoder_hidden_states** (`torch.Tensor` có shape `(batch_size, encoder_sequence_length, hidden_size)`, *optional*) -- Chuỗi các hidden-states điều kiện đại diện cho phép nối giữa đầu ra của text encoder đã được chiếu và đầu ra của audio encoder đã được chiếu. Được sử dụng làm tín hiệu điều kiện.

Ví dụ:
```python
>>> from transformers import AutoProcessor, MusicgenMelodyForConditionalGeneration
>>> import torch

>>> processor = AutoProcessor.from_pretrained("facebook/musicgen-melody")
>>> model = MusicgenMelodyForConditionalGeneration.from_pretrained("facebook/musicgen-melody")

>>> inputs = processor(
...     text=["80s pop track with bassy drums and synth", "90s rock song with loud guitars and heavy drums"],
...     padding=True,
...     return_tensors="pt",
... )

>>> pad_token_id = model.generation_config.pad_token_id
>>> decoder_input_ids = (
...     torch.ones((inputs.input_ids.shape[0] * model.decoder.num_codebooks, 1), dtype=torch.long)
...     * pad_token_id
... )

>>> logits = model(**inputs, decoder_input_ids=decoder_input_ids).logits
>>> logits.shape  # (bsz * num_codebooks, encoder_len + tgt_len, vocab_size)
torch.Size([8, 249, 2048])
```

