【自然语言处理实践06】基于预训练-微调的文本分类.pptxVIP

1基于预训练-微调的文本分类

2BERT进行文本分类

3BERT进行文本分类

4BERT进行文本分类

5BERT进行文本分类tokenembedding层是要将各个词转换成固定维度的向量。在BERT中，每个词会被转换成768维的向量表示。

6BERT进行文本分类?BERT能够处理对输入句子对的分类任务。这类任务就像判断两个文本是否是语义相似的。句子对中的两个句子被简单的拼接在一起后送入到模型中。那BERT如何去区分一个句子对中的两个句子呢？答案就是segmentembeddings.SegmentEmbeddings层只有两种向量表示。前一个向量是把0赋给第一个句子中的各个token,后一个向量是把1赋给第二个句子中的各个token。如果输入仅仅只有一个句子，那么它的segmentembedding就是全0。

7BERT进行文本分类BERT能够处理最长512个token的输入序列。论文作者通过让BERT在各个位置上学习一个向量表示来讲序列顺序的信息编码进来。这意味着PositionEmbeddingslayer实际上就是一个大小为(512,768)的lookup表，表的第一行是代表第一个序列的第一个位置，第二行代表序列的第二个位置，以此类推。因此，如果有这样两个句子“Helloworld”和“Hithere”,“Hello”和“Hi