优化预训练模型的小语料中文文本分类方法.pdfVIP

第28卷第16期现代计算机

2022年8月25日ModernComputer·1·

研究与开发

文章编号:1007-1423（2022）16-0001-09DOI:10.3969/j.issn.1007-1423.2022.16.001

优化预训练模型的小语料中文文本分类方法

陈蓝，杨帆，曾桢

（贵州财经大学信息学院，贵阳550000）

摘要：针对GloVe、BERT模型生成的字向量在小语料库中表义不足的问题，提出融合向量预训练模

型，对小语料中文短文本分类的精确度进行提升。本文以今日头条新闻公开数据集为实验对象，使用

GloVe、BERT模型通过领域预训练，对GloVe与BERT生成的预训练字向量进行向量融合，实现语义增

强，从而提升短文本分类效果。结果表明，当语料库中的数据量为500时，融合字向量的准确度相较于

BERT字向量的准确度提升了5个百分点，相较于GloVe字向量的准确度提升了3个百分点。词义选取的维

度待进一步加强。本文所提方法能够对小语料库的短文本数据实现精准分类，对后续文本挖掘工作具有重

要意义。

关键词：BERT；GloVe；向量融合；小语料；短文本

基金项目：教育部产学合作协同育人项目（BZX1902-20）：基于JupyterNotebook的用户信息行为分析

整合实验教学设计

0引言型，使用GloVe模型和BERT模型生成的字向量

进行融合后，通过文本特征提取得到对应的字

数字信息资源是指所有以数字形式将文字、

粒度向量。

数值等多种信息存储在计算机中，通过网络通

信、计算机或终端再现出来的资源。近年来，1研究现状

数字信息资源的快速增长，为用户带来便利的

在中文自然语言处理领域，计算机无法对

同时也导致了“信息爆炸”。数字信息资源的重

非结构化的文本数据进行处理，因此在对中文

要组成部分之一就是文本，针对种类繁多的文

文本信息进行处理时，需要经过分词以及向量

本信息资源，运用现代化的管理手段和管理方

化的过程，也就是将文本信息转化为计算机能

法，将资源按照一定的方式组织和存储起来，

够识别的数值数据。其中在文本向量化方面，

能够使用户在查找海量信息时实现高效检索。

最早的文本转换方式为one-hot（独热）编码形

目前，将文本信息转换为计算机能够识别

式，one-hot编码虽然解决了分类器处理离散数

的数据是自然语言处理的一个重要问题。其中

据困难的问题，但是没有考虑词与词之间的相

最普及的解决方法是将文本转换为向量的形式，

互关系，并且由one-hot生成的特征矩阵较为稀

将一句文本语言转化为一个向量矩阵，通过相

疏，增加了机器运算的负担。在2014年前后，

似词具有相近的向量，对词义进行表示。目前，

主要有两种文本向量化方法，一种是矩阵分类

由于深度学习的发展及应用，学者们通过各种