清华社教学课件深入浅出大语言模型第五章 BERT模型（二）.pptxVIP

第五章BERT模型（二）马少平清华大学计算机系面向人工智能初学者的通俗讲座《计算机是如何实现智能的》之B站获取PPT跟我学AI公众号

5.4BERT模型的微调方法BERT同GPT-1一样通过微调求解特定任务两大类任务句对任务文本蕴含任务文本相似度任务文本多选任务转化为多个句对分类任务抽取式问答任务单句任务情感分类任务文本分类任务标注任务句对分类任务单句分类任务

5.4.1句对分类任务

5.4.2单句分类任务

5.4.3文本问答任务抽取式问答答案从给定的文本中抽取问题：清华大学计算机系成立于哪一年？给定文本：清华大学计算机系成立于一九五八年，拥有国内最好的计算机师资队伍，在多个国际排名中位列国内第一名。给出答案在给定文本中的开始位置“11”和终止位置“15”。位置从0开始计数

答案的起始位置示意图

答案的终止位置示意图

5.4.4单句标注任务命名实体识别任务标注句中的人名、地名、机构名标签例：张三/S-PER出生/O于/O唐山/B-LOC市/E-LOC是/O清华/B-ORG大学/E-ORG的/O教授/OB-PER：人名的初始单词；I-PER：人名的中间单词；E-PER：人名的终止单词；S-PER：人名为独立词；B-LOC：地名的初始单词；I-LOC：地名的中间