一种基于改进贝叶斯算法的Web文本分类方法.pdf.pdfVIP

三 ／／／ ★ 一 种基于改进贝叶斯算法的Web文本分类方法 徐小伟 ． 成亚谊 (四川大学计算机学院，成都 610065) 摘 要 ：针对基于互补贝叶斯 的分类算法在数据倾斜分布时 由于过学习现象导致分类准确度不理 想的状况 ．提 出一种改进的互补贝叶斯分类算法 通过实验分析数据的倾斜分布对改进后 的互补贝叶斯算法的影响．经验证该算法能够在数据倾斜分布时依然能保持较高的分类准 确度 ．并且能随数据倾斜分布表现 出较好 的鲁棒性 。讨论普通文本与Web文本 的不 同．建 立一种带有主题权重的文档 向量模型，并分析主题权重对文本算法的影响。实验发现 ．使用 带有主题权重的文档向量模型．能够使得分类准确率相 比普通的文本分类提高5％ 关键词 ：朴素 贝叶斯；互补贝叶斯 ；web文本分类 ；倾斜数据分布 0 引 言 应用得非常普遍 贝叶斯分类的思想是利用统计概率 方法对训练样本集进行计算 ．得到分类模型的参数估 文本 自动分类作为处理与组织文本数据的重要技 计，然后利用这些参数计算未知文本属于某个类别的 术，在信息检索及Web挖掘领域得到广泛应用。Web 后验概率，文本所属的类别由概率最大的类标签确定。 文本主要 以HTML语言编写 ．所有互联 网上 的Web文 在分类中，假设有类标签 c∈{l，2，…，m}。对于每个类 本组成了以HTML标签构成的半结构化数据 。充分利 用网页数据的半结构化信息 ．可 以使分类器更加准确 别都对应一个模型参数，表示成向量 。=( ，oo，…， 对数据进行分类 。并且，Web文本具有数据量大，分布 0o)。其中 ／t为字典中词的总数。0o为单词 i出现在类别 严重不均匀的特点 ．因此需要一种不依赖数据均衡分 c的概率，且 1。则文档出现在某个类的概率可由 布的分类算法 i 文本分类 的任务是在预定 的类别标记 (Category 下面公式计算 ： Labe1)集合下，根据文本的内容判定其所属类别。目前 采用的分类算法主要有：最小二乘拟和、回归模型、最近 P((ddll=—上一 H1((y 邻、贝叶斯、决策树、神经网络、支持向量机等it~z1。其中贝 叶斯分类是一种基于概率模型的分类方法．具有分类快 其中 是单词 i出现在文档 d中的词频。利用最小 速、准确的优点，也是应用最为广泛的分类方法f)】。但朴 误差规则来计算文档最可能属于类别的后验概率： 素贝叶斯算法会在数据的不均匀分布时分类精度不太 令人满意阁 ，(d)：argma)【[1。()+∑月og] (2) i 1 朴素贝叶斯分类 =argmax~[b+∑ ] (3)