语言无关的贝叶斯集成分类模型.pdfVIP

语言无关的贝叶斯集成分类模型 古平 朱征宇 朱庆生 沈一栋 重庆大学计算机学院，重庆(400030) E-mail ：guping2k@ 摘 要：现有文档分类模型主要针对特定语言的文档，缺乏对多种语言的适应能力。本文提 出将N-Gram 与贝叶斯模型相结合的思想，使得模型独立于文档语言成为可能。在此基础上， 利用不同阶次N-Gram 增强贝叶斯模型的结构差异性和对不同语言文档的适应性，提出一种 新的集成框架和自适应集成方法，以提高模型在不同语言文档中的性能稳定性。实验证明， 贝叶斯集成模型完全能适应跨语言的文档分类需求。 关键词：贝叶斯，集成，语言模型，Dempster-Shafer 1.引言 随着 Internet 上可用信息资源的日益增多，文档自动分类的需求也日益迫切，目前，已 有很多基于统计学和机器学习的方法被应用到文档分类中，且取得了较好的效果。但这些模 型大多只针对特定语言的文档，缺乏对多种语言的适应能力，甚至出现分类性能的较大差异。 新的研究显示，借助自然语言模型，如 N-Gram 模型[1]可以解决这一问题。Peng[2]最早 将其应用于朴素贝叶斯模型，提出一种 CAN(Chain Augmented Naïve Bayesian)模型，部分解 决了朴素贝叶斯模型的条件独立假设问题，同时为实现语言独立的文档分类提供了可能。但 我们的实验同时显示，CAN 模型在不同语言文档中的性能很不一致，这与 CAN 中所采用 N-Gram 模型的阶次有关。一般来说，不同语言对N 值的依赖是不同的。如中文文档中，部 分字单独成词，而词的组合也有两字词，三字或四字短语等，因此N 最大可以为 5，而在英 文中短语通常较短，一般N 不超过 3 。因此，要真正实现语言无关的文档分类，仅使用单一 的N-Gram 模型增强是不够的。本章，我们综合运用多分类器集成技术以及 N-Gram 语言模 型，提出一种新的贝叶斯集成分类模型，利用集成中成员间的性能差异，实现对不同语言文 档的精确分类。 2.语言无关的贝叶斯分量模型 2.1 N-Gram 语言模型 N-Gram 模型是自然语言处理中应用最广的一种语言模型，它基于这样一种假设：第N 个词的出现只与前面N −1个词相关，而与其它任何词均不相关，因此整个语句的概率就是 各个词出现概率的乘积。给定文档d {w w ...w } ，根据链式规则我们可将任意词序的概 1 2 n 率记为: n P (w w ...w ) ∏P (w | w ,...w ) （1） c 1 2 n c i 1 i−1 i 1 其中P (w | w ,...w ) 表示在给定词序 w ,...w 的前提下，词w 与类别c 的共现概率。 c i 1 i−1 1 i−1 i 如果词序w ,...w 较长，计算概率P (w | w ,...w ) 将会非常复杂。但给定 N-Gram 模型后， 1 i−1 c i 1 i−1 由于只有近邻词条之间存在相关性，因此概率P (w | w ,...w ) 的计算可以近似为： c i 1 i−1 P (w | w ,..., w ) P (w | w ...w ) （2 ） c i 1 i−1 c i i−n+1 i−1 本课题得