Transformers documentation
ESMC
Эта модель была добавлена в Hugging Face Transformers 19.08.2026.
ESMC
Обзор
ESMC (ESM Cambrian) — это семейство языковых моделей для белков, выпущенное BioHub. Это двунаправленный Transformer-энкодер, обученный с целью masked-language-modelling на последовательностях аминокислот. Как и ESM-2, ESMC формирует представления для каждого остатка, которые полезны для задач моделирования белков.
ESMC подходит для дообучения на задачах классификации белков или классификации токенов. Он также используется в качестве основы для ESMFold2, где генерирует представления, которые используются в качестве входных данных для модуля сворачивания.
Предобученные контрольные точки доступны на Hugging Face Hub:
Пример использования
ESMC зарегистрирован в автоклассах (AutoModel, AutoModelForMaskedLM, AutoModelForSequenceClassification, AutoModelForTokenClassification).
import torch
from transformers import pipeline
extractor = pipeline(
task="feature-extraction",
model="biohub/ESMC-300M",
)
# Per-residue representations of shape (batch, sequence_length, hidden_size).
representations = extractor("MKTAYIAKQRQISFVKSHFSRQLEERLGLIEVQ", return_tensors="pt")import torch
from transformers import AutoModel, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("biohub/ESMC-300M")
model = AutoModel.from_pretrained("biohub/ESMC-300M")
inputs = tokenizer("MKTAYIAKQRQISFVKSHFSRQLEERLGLIEVQ", return_tensors="pt")
with torch.no_grad():
outputs = model(**inputs)
# Per-residue representations of shape (batch, sequence_length, hidden_size).
representations = outputs.last_hidden_stateEsmcConfig
класс transformers.EsmcConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 64hidden_size: int = 2560intermediate_size: int = 6912num_hidden_layers: int = 80num_attention_heads: int = 40num_key_value_heads: int | None = Nonehidden_act: str = 'silu'max_position_embeddings: int = 2048initializer_range: float = 0.02pad_token_id: int | None = 1bos_token_id: int | None = 0eos_token_id: int | list[int] | None = 2tie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: int | float | None = 0.0mlp_bias: bool = Falsehead_dim: int | None = Nonemask_token_id: int | None = 32classifier_dropout: float | None = 0.1 )
Параметры
- vocab_size (int, optional, по умолчанию 64) — Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены в input_ids.
- hidden_size (int, optional, по умолчанию 2560) — Размерность скрытых представлений.
- intermediate_size (int, необязательный, по умолчанию 6912) — Размерность представлений MLP.
- num_hidden_layers (int, optional, по умолчанию 80) — Количество скрытых слоев в декодере Transformer.
- num_attention_heads (int, optional, по умолчанию 40) — Количество головок внимания в каждом слое внимания декодера Transformer.
- num_key_value_heads (int, optional) — Количество ключевых и value-голов, используемых для реализации Grouped Query Attention. Если num_key_value_heads=num_attention_heads, модель использует Multi Head Attention (MHA); если num_key_value_heads=1 — Multi Query Attention (MQA); в остальных случаях применяется GQA. При конвертации мультиголовного чекпоинта в GQA-чекпоинт каждая групповая ключевая и value-голова должна построиться путём усреднения (meanpooling) всех исходных голов в этой группе. Дополнительные сведения см. в этой статье. Если значение не указано, по умолчанию используется num_attention_heads.
- hidden_act (str, optional, по умолчанию silu) — Нелинейная функция активации (функция или строка) в декодере. Например, “gelu”, “relu”, “silu” и т. д.
- max_position_embeddings (int, optional, по умолчанию 2048) — Максимальная длина последовательности, с которой может использоваться эта модель.
- initializer_range (float, optional, по умолчанию 0.02) — Стандартное отклонение truncated_normal_initializer, используемое для инициализации всех матриц весов.
- pad_token_id (int, optional, по умолчанию 1) — Идентификатор токена, используемого для выравнивания в словаре.
- bos_token_id (int, optional, по умолчанию 0) — Идентификатор токена, используемого для обозначения начала потока в словаре.
- eos_token_id (Union[int, list[int]], optional, по умолчанию 2) — Идентификатор токена, используемого для обозначения конца потока в словаре.
- tie_word_embeddings (bool, optional, по умолчанию False) — Связывать ли веса эмбеддингов согласно маппингу tied_weights_keys модели.
- rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], optional) — Словарь, содержащий параметры конфигурации для встраиваний RoPE. В словаре должно быть указано значение для rope_theta и, при необходимости, параметры, используемые для масштабирования, если вы хотите использовать RoPE с более длинными max_position_embeddings.
- attention_bias (bool, необязательный, по умолчанию False) — Использовать ли смещение в слоях проекции запроса, ключа, значения и вывода при само-внимании.
- attention_dropout (Union[int, float], optional, по умолчанию 0.0) — Коэффициент dropout для вероятностей внимания.
- mlp_bias (bool, необязательный, по умолчанию False) — Использовать ли смещение (bias) в слоях up_proj, down_proj и gate_proj внутри MLP-слоёв.
- head_dim (int, optional) — Размер измерения головы внимания. Если None, по умолчанию используется hidden_size // num_attention_heads
- mask_token_id (int, optional, по умолчанию 32) —
Индекс маскирующего токена в словаре (
"<mask>"), используемый для моделирования языка с маскированием. - classifier_dropout (float, optional, по умолчанию 0.1) — Коэффициент dropout для классификационной части.
Это класс конфигурации для хранения настроек модели EsmcModel. Он используется для создания модели Esmc в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации biohub/ESMC-6B
Объекты конфигурации наследуются от [PreTrainedConfig] и могут использоваться для управления выводами модели. Дополнительную информацию см. в документации по [PreTrainedConfig].
Примеры:
>>> from transformers import EsmcConfig, EsmcModel
>>> # Initializing an ESMC biohub/ESMC-6B style configuration
>>> configuration = EsmcConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = EsmcModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configEsmcTokenizer
класс transformers.EsmcTokenizer
< source >( unk_token = '<unk>'cls_token = '<cls>'pad_token = '<pad>'mask_token = '<mask>'eos_token = '<eos>'bos_token = Nonechain_break_token = '|'extra_special_tokens = None**kwargs )
Параметры
- unk_token (str, optional, по умолчанию ”
” ) — Неизвестный токен. - cls_token (str, optional, по умолчанию ”
” ) — Токен классификации (добавляется в начало каждой последовательности). - pad_token (str, optional, по умолчанию ”
” ) — Токен отступов. - mask_token (str, optional, по умолчанию ”
” ) — Токен маски, используемый для моделирования языка с масками. - eos_token (str, optional, по умолчанию ”
” ) — Токен конца последовательности (добавляется в конец каждой последовательности). - bos_token (str, optional, по умолчанию ”
” ) — Токен начала последовательности (добавляется в начало каждой последовательности). Если не задан, используется cls_token. - chain_break_token (str, optional, по умолчанию ”|”) — Токен, вставляемый между цепями во входных данных для белков с несколькими цепями. Зарегистрирован как специальный токен, специфичный для модели, поэтому доступен как chain_break_token / chain_break_token_id.
- extra_special_tokens (list[str], optional) — Дополнительные специальные токены для регистрации в токенизаторе (восстанавливаются из сохранённой конфигурации).
Создайте токенизатор ESMC.
Этот токенизатор — токенизатор на уровне символов, использующий библиотеку HuggingFace tokenizers.
Он обрамляет каждую последовательность токенами <cls> и <eos> и поддерживает токен разрыва цепочки | для входных данных с несколькими цепочками.
EsmcModel
класс transformers.EsmcModel
< source >( config: EsmcConfig )
Параметры
- config (EsmcConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.
Модель Esmc без дополнительных слоёв, выводящая необработанные скрытые состояния.
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( input_ids: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.Tensor] = Nonesequence_id: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → [~modeling_outputs.BaseModelOutput] or tuple(torch.Tensor)
Параметры
- input_ids (torch.Tensor с формой (batch_size, sequence_length), необязательный) —
Индексы токенов входной последовательности в словаре. По умолчанию padding игнорируется.
Индексы можно получить с помощью [AutoTokenizer]. Подробности см. в [PreTrainedTokenizer.encode] и [PreTrainedTokenizer.call].
- attention_mask (torch.Tensor формы (batch_size, sequence_length), необязательный) —
Маска для исключения токенов-заполнителей из вычислений внимания. Значения маски из диапазона [0, 1]:
- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
- position_ids (torch.Tensor формы (batch_size, sequence_length), необязательный) —
Позиция каждого токена в последовательности, используется в RoPE. По умолчанию —
arange(sequence_length).Позиции ESMC являются абсолютными для всего входного последовательности и продолжают нумерацию сквозь границы цепей во входных данных, содержащих несколько цепей. Структура цепей передаётся отдельно через
sequence_id, который маскирует внимание: в отличие от формата упакованных последовательностей, используемого в других частях библиотеки, это не идентификаторы позиций, перезапускающиеся с 0 для каждой цепи, и структура цепей намеренно не выводится из них. - sequence_id (torch.Tensor формы (batch_size, sequence_length), необязательный) —
Целочисленный тензор ID цепочек для маскирования внимания с учётом цепочек. Токены с одинаковым
неотрицательным целым значением могут обращать внимание друг на друга; токены с разными значениями
не могут (маскирование между цепочками). Позиции padding следует устанавливать в
-1, а входные данные должны быть right-padded (RoPE использует абсолютные позиции, начиная с 0). Если параметр указан,attention_maskигнорируется. Передачаsequence_idприводит к построению пользовательской маски внимания, что требуетtorch>=2.6. Для входных данных с несколькими цепочками дополнительно требуется не-flashattn_implementation('sdpa'/'eager'/'flex_attention'); flash attention поддерживает только случай с одной цепочкой.
Возвращает
[~modeling_outputs.BaseModelOutput] или tuple(torch.Tensor)
Объект [~modeling_outputs.BaseModelOutput] или кортеж из torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации ([EsmcConfig]) и входных данных.
Метод forward класса [EsmcModel] переопределяет специальный метод call.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр [Module], а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предобработки и постобработки, тогда как второй молча их игнорирует.
last_hidden_state (torch.Tensor формы (batch_size, sequence_length, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя модели.
hidden_states (tuple(torch.Tensor), optional, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — Кортеж из torch.Tensor (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).
Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (tuple(torch.Tensor), optional, возвращается, если передано output_attentions=True или если config.output_attentions=True) — Кортеж torch.Tensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).
Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
Примеры:
>>> from transformers import AutoTokenizer, EsmcModel
>>> model = EsmcModel.from_pretrained("biohub/ESMC-300M")
>>> tokenizer = AutoTokenizer.from_pretrained("biohub/ESMC-300M")
>>> inputs = tokenizer(["MLKNVQVQLV"], return_tensors="pt")
>>> outputs = model(**inputs)
>>> outputs.last_hidden_state.shape
torch.Size([1, 12, 960])EsmcForMaskedLM
класс transformers.EsmcForMaskedLM
< source >( config: EsmcConfig )
Параметры
- config (EsmcConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.
Модель Esmc с головкой language modeling наверху.”
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( input_ids: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.Tensor] = Nonesequence_id: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → [~modeling_outputs.MaskedLMOutput] or tuple(torch.Tensor)
Параметры
- input_ids (torch.Tensor с формой (batch_size, sequence_length), необязательный) —
Индексы токенов входной последовательности в словаре. По умолчанию padding игнорируется.
Индексы можно получить с помощью [AutoTokenizer]. Подробности см. в [PreTrainedTokenizer.encode] и [PreTrainedTokenizer.call].
- attention_mask (torch.Tensor формы (batch_size, sequence_length), необязательный) —
Маска для исключения токенов-заполнителей из вычислений внимания. Значения маски из диапазона [0, 1]:
- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
- position_ids (torch.Tensor формы (batch_size, sequence_length), необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона [0, config.n_positions - 1].
- sequence_id (torch.Tensor формы (batch_size, sequence_length), необязательный) — Целочисленный тензор chain-ID, передаваемый в энкодер для маскирования внимания с учётом цепочек. См. EsmcModel.forward() для кодирования.
- labels (torch.LongTensor формы (batch_size, sequence_length), необязательный) —
Метки для функции потерь masked language modelling. Позиции с меткой
-100игнорируются. Остальные позиции должны находиться в диапазоне[0, config.vocab_size).
Возвращает
[~modeling_outputs.MaskedLMOutput] или tuple(torch.Tensor)
Объект [~modeling_outputs.MaskedLMOutput] или кортеж из torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации ([EsmcConfig]) и входных данных.
Метод forward класса [EsmcForMaskedLM] переопределяет специальный метод call.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр [Module], а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предобработки и постобработки, тогда как второй молча их игнорирует.
loss (torch.Tensor формы (1,), optional, возвращается, если задан labels) — Потери маскированного языкового моделирования (MLM).
logits (torch.Tensor формы (batch_size, sequence_length, config.vocab_size)) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).
hidden_states (tuple(torch.Tensor), optional, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — Кортеж из torch.Tensor (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).
Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (tuple(torch.Tensor), optional, возвращается, если передано output_attentions=True или если config.output_attentions=True) — Кортеж torch.Tensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).
Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
Примеры:
>>> from transformers import AutoTokenizer, EsmcForMaskedLM
>>> import torch
>>> model = EsmcForMaskedLM.from_pretrained("biohub/ESMC-300M")
>>> tokenizer = AutoTokenizer.from_pretrained("biohub/ESMC-300M")
>>> inputs = tokenizer(["MLKNVQ<mask>LV"], return_tensors="pt")
>>> outputs = model(**inputs)
>>> outputs.logits.shape
torch.Size([1, 11, 64])EsmcForSequenceClassification
класс transformers.EsmcForSequenceClassification
< source >( config: EsmcConfig )
Параметры
- config (EsmcConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.
Модель ESMC — это трансформер с головой для классификации/регрессии последовательностей (линейный слой поверх пуллинг-выхода), например, для задач GLUE.
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → SequenceClassifierOutput or tuple(torch.Tensor)
Параметры
- input_ids (
torch.LongTensorформы(batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
- attention_mask (
torch.Tensorформы(batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона[0, 1]:- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
- position_ids (
torch.LongTensorформы(batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона[0, config.n_positions - 1]. - inputs_embeds (
torch.Tensorформы(batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачиinput_idsможно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексыinput_idsпреобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. - labels (
torch.LongTensorформы(batch_size,), необязательный) — Метки для вычисления функции потерь классификации/регрессии последовательности. Индексы должны находиться в диапазоне[0, ..., config.num_labels - 1]. Еслиconfig.num_labels == 1, вычисляется функция потерь регрессии (среднеквадратичная ошибка), еслиconfig.num_labels > 1, вычисляется функция потерь классификации (кросс-энтропия).
Возвращает
SequenceClassifierOutput или tuple(torch.Tensor)
Объект SequenceClassifierOutput или кортеж из
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (EsmcConfig) и входных данных.
Метод EsmcForSequenceClassification forward переопределяет специальный метод __call__.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр
Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.
loss (
torch.Tensorформы(1,), необязательный, возвращается, если заданlabels) — Потери классификации (или регрессии, если config.num_labels==1).logits (
torch.Tensorформы(batch_size, config.num_labels)) — Оценки для классификации (или регрессии, если config.num_labels==1) до применения SoftMax.hidden_states (
tuple(torch.Tensor), optional, возвращается, если переданоoutput_hidden_states=Trueили еслиconfig.output_hidden_states=True) — кортеж изtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили приconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
Пример классификации с одной меткой:
>>> import torch
>>> from transformers import AutoTokenizer, EsmcForSequenceClassification
>>> tokenizer = AutoTokenizer.from_pretrained("biohub/ESMC-6B")
>>> model = EsmcForSequenceClassification.from_pretrained("biohub/ESMC-6B")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...
>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = EsmcForSequenceClassification.from_pretrained("biohub/ESMC-6B", num_labels=num_labels)
>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...Пример многоклассовой классификации:
>>> import torch
>>> from transformers import AutoTokenizer, EsmcForSequenceClassification
>>> tokenizer = AutoTokenizer.from_pretrained("biohub/ESMC-6B")
>>> model = EsmcForSequenceClassification.from_pretrained("biohub/ESMC-6B", problem_type="multi_label_classification")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]
>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = EsmcForSequenceClassification.from_pretrained(
... "biohub/ESMC-6B", num_labels=num_labels, problem_type="multi_label_classification"
... )
>>> labels = torch.sum(
... torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).lossEsmcForTokenClassification
forward
< source >( input_ids: torch.LongTensor | None = Noneattention_mask: torch.Tensor | None = Noneposition_ids: torch.LongTensor | None = Nonepast_key_values: Cache | None = Noneinputs_embeds: torch.Tensor | None = Nonelabels: torch.LongTensor | None = Noneuse_cache: bool | None = None**kwargs: Unpack[TransformersKwargs] ) → TokenClassifierOutput
Параметры
- input_ids (
torch.LongTensorформы(batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
- attention_mask (
torch.Tensorформы(batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона[0, 1]:- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
- position_ids (
torch.LongTensorформы(batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона[0, config.n_positions - 1]. - past_key_values (
Cache, необязательный) — Предвычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно этоpast_key_values, возвращённые моделью на предыдущем этапе декодирования, когдаuse_cache=Trueилиconfig.use_cache=True.В качестве входного параметра допускается только экземпляр Cache, см. наше руководство по кэшу KV. Если
past_key_valuesне переданы, по умолчанию будет инициализирован DynamicCache.Модель будет выводить тот же формат кэша, который был передан на вход.
Если используются
past_key_values, ожидается, что пользователь передаст только необработанныеinput_ids(те, для которых в этой модели ещё не заданы состояния прошлых ключей и значений) формы(batch_size, unprocessed_length), а не всеinput_idsформы(batch_size, sequence_length). - inputs_embeds (
torch.Tensorформы(batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачиinput_idsможно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексыinput_idsпреобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. - labels (
torch.LongTensorформы(batch_size, sequence_length), необязательный) — Метки для вычисления функции потерь классификации токенов. Индексы должны находиться в диапазоне[0, ..., config.num_labels - 1]. - use_cache (
bool, необязательный) — Если установлено вTrue, возвращаются состояния ключей и значенийpast_key_values, которые можно использовать для ускорения декодирования (см.past_key_values).
Возвращает
TokenClassifierOutput
Метод GenericForTokenClassification forward переопределяет специальный метод __call__.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр
Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.