章末小测验

让我们测试一下你在本章中学到了什么！

1．在什么时候你应该考虑训练一个新的 tokenizer ？

2．当使用 train_new_from_iterator() 时，使用文本列表生成器与文本列表相比有什么优点？

3．使用“快速” tokenizer 有什么优势？

4. token-classification 管道如何处理跨越多个 tokens 的实体？

5. question-answering 管道如何处理长上下文？

6．什么是标准化？

7．什么是 tokenizer 的预分词？

8．选择描述 BPE 算法最准确的句子。

9．选择描述 WordPiece 算法最准确的句子。

10．选择描述 Unigram 算法最准确的句子。

Update on GitHub