LLM Course

0. Установка

1. Трансформеры

2. Использование 🤗 Transformers

3. Fine-tuning предобученной модели

4. Hugging Face Hub

5. Библиотека 🤗 Datasets

6. Бибилиотека 🤗 Tokenizers

Введение Обучение нового токенизатора на основе старого Особые возможности быстрых токенизаторов Быстрые токенизаторы в QA конвейере Нормализация и предварительная токенизация Токенизация Byte-Pair Encoding Токенизация WordPiece Токенизация Unigram Создание токенизатора, блок за блоком Токенизаторы, проверка!Тест в конце главы

7. Основные задачи NLP

8. Как попросить о помощи

9. Создание и распространение демо

События курса

Глоссарий

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Тест в конце главы

Давайте проверим, чему вы научились в этой главе!

1. Когда следует обучать новый токенизатор?

Если ваш набор данных похож на тот, который используется существующей предварительно обученной моделью, и вы хотите провести предварительное обучение новой модели. Когда ваш набор данных похож на тот, который используется существующей предварительно обученной моделью, и вы хотите дообучить новую модель, используя эту предварительно обученную модель. Когда ваш набор данных отличается от того, который используется существующей предварительно обученной моделью, и вы хотите провести предварительное обучение новой модели. Когда ваш набор данных отличается от того, который используется существующей предварительно обученной моделью, но вы хотите дообучить новую модель с помощью имеющейся предварительно обученной модели.

2. В чем преимущество использования генератора списков текстов по сравнению со списком списков текстов при использовании train_new_from_iterator() ?

3. Каковы преимущества использования “быстрого” токенизатора?

4. Как конвейер token-classification обрабатывает сущности, которые охватывают несколько токенов?

5. Как конвейер question-answering обрабатывает длинные контексты?

На самом деле это не так, поскольку он обрезает длинный контекст по максимальной длине, принятой моделью. Он разбивает контекст на несколько частей и усредняет полученные результаты. Он разбивает контекст на несколько частей (с перекрытием) и находит максимальную оценку для ответа в каждой части. Он разбивает контекст на несколько частей (без перекрытия, для эффективности) и находит максимальную оценку для ответа в каждой части.

6. Что такое нормализация?

Это любая очистка текста, которую выполняет токенизатор на начальных этапах работы с текстами. Это техника дополнения данных, которая позволяет сделать текст более нормальным за счет удаления редких слов. Это последний этап постобработки, на котором токенизатор добавляет специальные токены. Это когда эмбеддинги создаются со среднеквадратичным отклонением 0 и стандартным отклонением 1, путем вычитания среднеквадратичного и деления на стандартное отклонение.

7. Что такое предварительная токенизация для токенизатора по подсловам?

8. Выберите предложения, которые относятся к модели токенизации BPE.

BPE - это алгоритм токенизации подслов, который начинает работу с небольшим словарем и изучает правила слияния. BPE - это алгоритм токенизации подслов, который начинает с большого словаря и постепенно удаляет из него токены. Токенизаторы BPE изучают правила слияния, объединяя пары токенов, которые встречаются чаще всего. Токенизатор BPE изучает правило слияния, объединяя пары токенов, которые максимизируют оценку, которая отдает предпочтение частым парам с менее частыми отдельными частями. BPE токенизирует слова на подслова, разбивая их на символы, после чего применяет правила слияния. BPE токенизирует слова в подслова, находя самое длинное подслово, которое есть в словаре, начиная с начала, а затем повторяя процесс для остальной части текста.

9. Выберите предложения, которые относятся к модели токенизации WordPiece.

WordPiece - это алгоритм токенизации по подсловам, который начинает работу с небольшим словарным запасом и учит правила слияния. WordPiece - это алгоритм токенизации по подсловам, который начинает с большого словаря и постепенно удаляет из него токены. Токенизаторы WordPiece учат правила слияния, объединяя пары токенов, которые встречаются чаще всего. Токенизатор WordPiece изучает правило слияния, объединяя пары токенов, которые максимизируют оценку, отдающую предпочтение частым парам с менее частыми отдельными частями. WordPiece выполняет токенизацию слов на подслова, находя наиболее вероятную сегментацию на токены в соответствии с моделью. WordPiece токенизирует слова на подслова, находя самое длинное подслово, которое есть в словаре, начиная с начала, а затем повторяя процесс для остальной части текста.

10. Выберите предложения, которые относятся к модели токенизации Unigram.

Unigram - это алгоритм токенизации на подслова, который начинает с небольшого словаря и учится правилам слияния. Unigram - это алгоритм токенизации подслова, который начинает с большого словарного запаса и постепенно удаляет из него токены. Unigram адаптирует свой словарь, минимизируя потери, вычисляемые по всему корпусу текста. Unigram адаптирует свой словарь, сохраняя наиболее часто встречающиеся подслова. Unigram осуществляет токенизацию слов на подслова, находя наиболее вероятную сегментацию на токены в соответствии с моделью. Unigram токенизирует слова на подслова, разбивая их на символы, а затем применяя правила слияния.

Update on GitHub

←Токенизаторы, проверка!