Token（词元）全景综述（中文机翻）.pptx

摘要

尽管现代语言模型以原始文本作为输入并生成原始文本作为输出，但它们并非直接对文本进行操作。在语言模型处理流程的最初步骤中，隐藏着一个分词过程：将原始文本转换为一系列标记，而模型正是为处理这些标记而设计的。

当前主流的分词方法是子词分词，该方法使用的分词单元粒度介于字符（或字节）与单词之间。子词分词在现代自然语言处理（NLP）中广泛应用，主要得益于其优势：相较于词级模型，它既能解决词库外问题，又可限制词库规模，从而减少所需的嵌入参数与逻辑值数量；相较于字符级模型，它通过将更多信息封装于单个分词单元中，同时生成显著更短的序列，从而增强了模型的归纳偏置。

尽管该技术颇具优势，但其仍