十九、Tokenization扩展系列.docVIP

十九、Tokenization扩展系列

单项选择题（每题1分，共30题）

1.Tokenization在自然语言处理中的主要作用是什么？

A.提高文本存储效率

B.将文本分割成更小的单元

C.增强模型训练速度

D.减少模型参数数量

2.下列哪种方法不属于Tokenization技术？

A.WordPiece

B.BytePairEncoding(BPE)

C.SentencePiece

D.TF-IDF

3.Tokenization过程中，通常如何处理特殊字符？

A.忽略特殊字符

B.将特殊字符单独标记

C.将特殊字符删除

D.将特殊字符替换为空格

4.在BERT模型中，Tokenizatio