CN107066553-CN201710181062-一种基于卷积神经网络与随机森林的短文本分类方法.pdfVIP

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 107066553 A (43)申请公布日 2017.08.18 (21)申请号 201710181062.0 (22)申请日 2017.03.24 (71)申请人 北京工业大学 地址 100124 北京市朝阳区平乐园100号 (72)发明人 刘泽锦　王洁　 (74)专利代理机构 北京思海天达知识产权代理 有限公司 11203 代理人 沈波 (51)Int.Cl. G06F 17/30(2006.01) G06K 9/62(2006.01) 权利要求书2页 说明书7页 附图3页 (54)发明名称 一种基于卷积神经网络与随机森林的短文 本分类方法 (57)摘要 本发明公开了一种基于卷积神经网络与随 机森林的短文本分类方法，属于文本分类与深度 学习领域。针对采用Softmax作为卷积神经网络 分类器导致泛化能力不足的问题，提出了一种结 合卷积神经网络与随机森林的短文本分类算法 (CNN-RF)。本方法首先提出一种双重词向量卷积 神经网络用来充分提取短文本高阶特征，然后采 用随机森林作为高阶特征分类器，从而提高短文 本分类效果。在三个公开实验数据集上的结果表 明，与其他算法相比CNN-RF在多个评价指标上均 有明显优势。 A 3 5 5 6 6 0 7 0 1 N C CN 107066553 A 权　利　要　求　书 1/2页 1.一种基于卷积神经网络与随机森林的短文本分类方法，其特征在于：该方法包括以 下步骤： 步骤1：对待分类语料库中所有中文文本进行分词，分别使用word2vec和glove词向量 训练工具得到语料库的两组词向量，将文本表示为两个维度相等的矩阵；分别对两个矩阵 进行二维卷积操作，得到两个卷基层特征图； 步骤2：卷积操作之后，分别对两个卷基层特征图进行池化操作，得到两个池化层特征 矩阵；对该池化层特征矩阵进行非线性sigmod变换，得到两个池化层特征图； 步骤3：对步骤2的得到的两个池化层特征图进行卷积操作，得到最终的单个全连接层 特征图； 步骤4：将步骤3得到的全连接特征图作为随机森林层的输入数据集，对该集合进行 Boostrap采样，Bootstrap采样是一种统计学上的抽样方法，对于有m个样本的数据集D，进 行m次有放回采样得到新数据集D′，明显D与D′大小相同，而且放回采样使得D′中有重复出 现的样本，也有样本没有出现； 步骤5：对多个Boostrap样本集分别使用Gini系数法建立分类与回归树CART，Gini系数 用于特征选择，用该特征将特征空间进行划分，划分之后从特征集合中去除此特征，对左右 子树分别递归执行特征选取与特征划分操作直到满足停止条件；此外为防止决策树过拟合 现象的发生，本方法采用预剪枝操作；将多个决策树组合起来，共同为样本的类别进行决 策，通常采用投票法。 2.根据权利要求1所述的一种基于卷积神经网络与随机森林的短文本分类方法，其特 征在于： 该方法的具体实施过程分为以预训练阶段与分类器训练阶段： 一：预训练阶段 步骤1：得到两组词向量后，对于语料库D，用x表示一篇文本，则 代表第文本中第i 个词语的词向量，一个长度为n的句子表示成如下形式： 这里 变为向量拼接操作，n为训练语料中最长的句子的长度；对于长度不足n的文本则 用特殊符号PAD进行补齐，使用(-0.25,0.25)之间的均匀分布生成的向量表示PAD；假 设词向量长度为k，则现