网页文本的组合分类研究.pdfVIP

58 计算机与数字工程 第38卷 网页文本的组合分类研究8 侯小静舒云星 (洛阳工业高等专科学校计算机系洛阳471003) 摘要在文本分类中，单分器具有某些缺点，如分类模型对样本具有敏感性，并且其分类精度难以提高。本文以朴 组合分类系统提高了分类准确率。 关键词分类装袋提升 中图分类号TP311 Ci中出现的频次。 web网页中蕴藏着空前丰富的信息资源，网 3 组合分类算法 页的自动分类技术可以帮助人们对其进行有效地 组织和管理，提高信息检索的效率。网页分类是指 假设训练数据集D包含数据为{(戈。，)，!)，i= 按照某个已建立的分类器模型将某一网页映射到 1，2，…，N}，其中y是类标号，那么一个分类就是 预定义类别的过程。 在训练数据集上获得预测函数沙(戈)：即给定一个 然而，在分类过程中，单分类器的使用有一些 戈，我们使用砂(并)预测，，。假设我们通过某种方式 缺点，如分类模型对样本具有敏感性，而且单分类 从数据集D构造一系列的训练数据集，组合分类 器的分类精度很难提高。本文中我们以朴素贝叶 方法的任务是利用在每个数据集上所生成的预测 斯分类器为基分类器，利用．bagging与boosting技 术分别提出了两种不同的组合分类方案，以提高网 页文本的分类精度。 术旧J，它们在数据集的构造方式与组合单个预测 2 朴素贝叶斯分类算法 函数的策略上是不同的。 3．1 基于Bagging技术的组合分类算法 朴素贝叶斯方法在网页分类中的任务可以描 装袋是通过自助方式构造基分类器的组合分 述如下…： 类方法【3J。在装袋方法中，每一个基分类器是建 设c={c，，c：…c。}为m个预定义的类别，D 立在原训练数据集D的自助样本集D。上的。 ={d。，d：…d。}为已知类标号的训练文档集合，若 自助样本集D。采用如下方式建立：从数据集 将待分类文档x描述为k个特征项(词)的序列 D中有放回的随机抽去N个样本，其中N是原训 t，，t：，…t。，则x最可能的类别应为使得P(C= 练的样本总数。每一个基分类器沙。(戈)是由训练 ci／x=x)取最大值的类别标号ci。 数据集D的不同自助样本集D。。训练获得，基于 根据贝叶斯公式和独立性假设，有： Bag矛ng技术的网页文本组合分类算法描述如下： 输入：训练文本集D P(c=c／x=戈)=兰』j!二二!j；；差；兰掣 基分类器个数M 兀P(f／Ci) Form=1toM =P(ci)}丽广 获得自助训练文本集D。。； 其中： 用朴素贝叶斯分类器巾。(x)拟合训练集D。。； 。…、 l+7F(￡i，Gi)