基于主动学习交互式支持向量机文本分类学习方法.docVIP

基于主动学习的交互式支持向量机文本分类学习方法 　　摘 要本文以支持向量机文本分类方法为基础，针对学习过程中样本较少、分类精度不高的问题，提出基于主动学习的交互式支持向量机文本分类方法，即依据已知样本设计分类规则，然后通过主动学习提取不确定样本，二次构建交互式分类器。实验表明，该方法优化了文本分类器学习能力，具有更好的推广能力 【关键词】文本分类 支持向量机 主动学习 在文本分类领域，支持向量机以最优超平面求得线性可分，在小数量的训练样本情况下能够达到较好的学习能力。然而在监督学习中，对于训练样本较少，文本数据高维的情况下，传统方法的分类精度不高。我们发现一般情况下的支持向量机文本分类方法，不确定样本的个数往往远远大于训练样本的个数，并且在不确定样本集中有很多对分类影响的样本元素。这样一来，实际上就可以将部分不确定样本利用起来，以提高分类器的精度。而文本分类的主动学习方法，则是在学习过程中，建立交互式能力。即将训练样本的被动学习改变为选择对分类有影响的样本进一步学习，从而提高分类器的分类精度。因此，我们将主动学习和支持向量机文本分类方法结合起来，提出基于主动学习的交互式支持向量机文本分类方法 1 交互式支持向量机分类算法 对于文本分类而言，主动学习是在待分类样本集S中，根据已知样本，建立分类器，通过主动学习将分类器不确定的样本进行评价，然后再优化分类器，使分类方法成为一个交互式学习的过程。对于正负两类问题，设分类器对未知样本的测试概率分别为p0（x），p1（x），p0（x）+p1（x）=1；根据香农熵公式，则得出，样本的|p0（x）-p1（x）|越小，对分类器的不确定度也就越大 交互式支持向量机文本分类方法是利用支持向量机实习主动学习，以实现通过最优超平面达到线性可分。设样本标记x到超平面q的距离为d（x0，q），则p0（x）-p1（x）∞d（x，q）。交互式主动学习新样本选择策略为：取x0，使得d（x0，q）=min（d（x，q）），其中x∈s，即未知样本应靠近分类边界。对于交互式支持向量机的线性可分而言，在进行下一步分类器设计时，需要考虑两个方面的内容，即一是超平面的分类边界缝隙存在未知样本，分类边界调整的；二是超平面分类边界缝隙不存在未知样本，分类边界也存在调整的。因此，分类算法步骤如下： （1）构建训练样本集合 （2）利用训练样本得到分类器，即支持向量模型q （3）若与超平面分类边界缝隙存在样本点，则选择距离超平面分类边界最近的x评价，然后将其加入训练样本集，并返回，直至超平面分类边界缝隙不存在样本点 （4）从训练样本中，随机选择x，利用分类器对其进行阈值判定学习，直至评价结果一致 2 算法分析 2.1 推广能力 支持向量机算法是以统计学习理论为基础的，其主要思想是结构风险最小化。对于文本分类而言，分类器的推广能力是将实际风险最小化。本文结合主动学习和支持向量机方法方法，构建分类器，通过最优超平面使得分类间隔最大化为思路，分类间隔随着学习不断减少，这样一来是随着样本的增加，分类器对训练样本的错误将呈下降趋势。因此，与普通支持向量机方法分类方法相比，交互式支持向量机方法具有较好的推广能力 2.2 文本过滤 文本信息过滤，通过情况下均是采用向量空间法，也就是将过滤器转化为机器学习的过程。向量空间的特征位数一般较高（10000），而高维的特征向量是影响分类速度和精度的，特别是在未知样本大量存在的情况下，文本的分类性能在很大程度上降低。因此，我们通过主动学习未知样本，二次构建分类器，将文本过滤模式过程改变为交互式学习，符合现实的文本分类环境 3 支持向量机分类方法实验对比分析 我们从选取2015年网易新闻集作为数据来源，抽取文本信息共计2078篇。其中，1354篇作为训练样本，724篇作为测试样本。经过预处理后，共有5621个词，用于分类器设计。文本分类主要涉及财经、军事、体育、历史、科技、娱乐等方面，选择文本量前五位做为有效对比数据，通过利用本文所提出的基于主动学习的交互式支持向量机分类方法与传统的支持向量机分类方法进行对比分析。结果如表1 通过表1我们可以看到，文本识别方面，两类支持向量机均能识别出测试样本的主要文本类型，交互式支持向量分类方法除科技外，其他的文本识别都要比传统支持向量机要高，交互式支持向量机分类方法的分类精度明显较高 4 总结 对于文本分类的监督学习算法，基于主动学习的交互式支持向量机分类算法可以在小样本情况下，能够通过交互式学习，提取不确定样本的决策因子，进而实现二次构建分类器，以提高分类器的精度和效率，具有较好的推广能力。此外，在交互式学习中，不确定样本的提取阈值以及提高分类器精度方面的定量分析还需更多的验证，