贝叶斯与语言模型相结合的中文文本分类方法的研讨.pdf

贝叶斯与语言模型相结合的中文文本分类方法的研究 闫涛1。高光来2 1．内蒙古大学计算机学院，呼和浩特010021 E-mail：csyantao@imu．edu．cn 2．内蒙古大学计算机学院，呼和浩特010021 E—mail：csggl@imu．edu．cn 摘要：随着互联网上町用信息的曰益增多，怎样快速而有效地获取有用信息成为人们研究的重要课题，信息自动分类就应运 而生了。贝叶斯作为其中的一种分类方法，应用在很多领域。本文将贝叶斯与语言模犁相结合的分类模型应用于中文文本分 类中。在复旦大学中文语料库上进行实验，得出如F结论：使用四种平滑技术改进后的贝叶斯分类模型的性能要优于朴素贝 叶斯分类模型的性能，特别是采用了改进平滑尺度的Jelinek-Mereer平滑技术后，分类器的性能得到较人改善。 关键字：文本自动分类，朴素贝叶斯，Laplace平滑技术，统计语言模型 ResearchontheMethodsofChineseTextClassificationand Model UsingBayesLanguage Tao Ga02 Yanl，Guang-Lai Science，Inner 010021，China 1．CollegeofComputer MongoliaUniversity，Hohhot E—mail：csyantao@imu．edu．ca Science，Inner 010021，China 2．CollegeofComputer MongoliaUniversity，Hohhot ． E—mail：csggl@imu．edu．ca Abstract：Withtheinereaseofinformationon to and all Intemet．howusefulinformation becomes gain fleetlyeffectively important task，andinformationautomaticclassificationasthetimes hasbeenusedin fieldsasoneofthe emerges require．Bayes many classificationmethods．This theclassificationmodelwhich with ModeIto classifiercombines Chincse PaDerapplies Bayes Language TcXt Classification．0ntheChineseofFuDan showthatthe classifierswhichuse