基于最大熵模型中文网页分类器设计和实现-design and implementation of chinese web page classify based on maximum entropy model.docxVIP

第一章序言基于最大熵模型的中文网页分类器设计和实现(NSTI)（NationalInstituteofStandardsandTechnology）、信息技术实验室(ITL)（InformationTechnologyLaboratory）检索小组、美国国防部高级研究计划署(ARPA)（AdvancedResearchProjectsAgency）信息技术处、高级研究开发机构等单位共同主持召开了信息检索会议TREC（TextREtrievalConference）[1]，至今己召开了十七次(从1992年起，每年一次)。在国外，文本自动分类的研究起步较早，文本自动分类是信息检索领域中的主要研究对象，20世纪50年代末，H.P.Luhn就在这一领域进行了开创性研究，提出了词频统计思想用于自动分类[2]。1960年，Maron发表了关于自动分类的第一篇论文[3]，随后众多学者在这一领域进行了卓有成效的研究工作。到目前为止，国外的文本自动分类研究己经从最初的可行性基础研究经历了试验性研究进入到了实用化阶段，并在邮件分类、电子会议、信息过滤等方面取得了较为广泛的应用[4]。国内对于文本自动分类的研究起步较晚，1981年，侯汉清教授对于计算机在文本分类工作中的应用做了探讨，由于中英文之间存在着较大差异而无法直接照搬国外的研究成果。随着中文信息处理技术特别是中文自动分词技术的日渐成熟，以此为基础的中文文本分类技术的研究得到了快速发展，并取得了一定的成就。网页分类是由纯文本分类技术发展而来的。近年来，研究者们结合机器学习方法和人工智能的技术进行了大胆的探索，提出了多种分类模型和分类算法。目前文本分类的研究[5]大致分为以下三类：（1）向量空量模型（VSM）（VectorSpaceModel)）表示法，文档表示为特征词向量，向量中元素对应词频，丢弃了特征词在文档中的顺序信息，也称为BOW表示。使用VSM的算法大多属于基于词频统计的学习方法，特征词通常要进行选择实现降维，文档向量根据特征词权重对词频权值进行调整。（2）SOW(StructureOfWords)表示，跟VSM相比词频信息，只关心特征词是否出现。使用SOW的算法有C4.5、Ripper、FOIL等符号规则归纳算法。（3）基于词义的表示，VSM和SOW表示方式没有考虑特征词的语义信息，基于文档语义进行分类也是一个研究方向。Web页面与纯文本页面的主要区别在于，除了文本部分以外，Web页面又添加了一些其它信息，如声音、图像、页面格式以及文字链接等，这些都是在分类过程中值得参考的一些因素。基于最大熵模型的中文网页分类器设计和实现第一章序言1.3课题研究目的与相关问题本文面对人们处理中文网页这一现实问题，处理的对象是收集的各类真实网页。基于文本数据挖掘和自然语言处理技术，采用文本分类算法、统计语言模型知识及结合网页的特点，提出了一个中文网页分类器的设计及实现。课题主要解决以下几个问题：网页语料的解析及预处理网页分类算法分析语料的特征分析和提取网页分类器的设计1.4论文的结构第一章序言论述论文的研究背景与意义以及论文的主要工作。第二章网页分类的相关技术介绍介绍网页语料的提取技术，特征选择算法和分类方法，为分类器的实现提供了技术保障。第三章网页语料提取与预处理分析了网页的主要标签，比较得出特征项，并在此提出基于CSS的网页信息提取算法实现，并分词标注了网页语料，将其转换成系统能识别的XML格式。第四章网页分类器的设计与实现介绍了系统设计环境和设计框架，进而得出系统设计流程，介绍了系统实现的部分程序和模块，最后展示了系统演示。系统所用的语料都是从新浪网站上的真实网页资料，介绍了系统运行的实验结果，分析各个特征项组合对分类性能的影响。第五章总结与展望总结全文，并展望下一步需要研究的工作。第二章网页分类的相关技术介绍基于最大熵模型的中文网页分类器设计和实现第二章网页分类的相关技术介绍2.1网页信息提取的相关工作在Web信息提取领域，已经有大量的研究工作，JIYINGWANG[6]等将网页解析成DOM树，提出了DSE(Data-richSubtreeExtraction)算法来提取HTML网页的主题信息。王琦等人[7]在STU的基础上提出了STU-DOM模型，进行基于结构的过滤和基于语义的剪枝。另外，还有基于规则和模版的提取方法[8]，通常是面向特定领域、特定网站或者针对特定格式，由于用户访问Internet有很强的随机性，因此这种方法有它使用的局限性。李蕾[9]提出了一种基于快速傅立叶变换的网页正文内容提取算法。采用窗口分段的方法，利用统计学原理和FFT，得出每个可能区间的权值，从而求解出最佳正文区间，此算法主要适合“正文式”的网页。2.2网页分类一般架构所谓网页分类，就是在给定的分类体系下，根据网页