基于支持向量机的中文网页自动分类系统-计算机应用技术专业论文.docxVIP

摘要随着Intemet的发展，网络上的信息正在以前所未有的速度膨胀着，人类已经进 摘要 随着Intemet的发展，网络上的信息正在以前所未有的速度膨胀着，人类已经进 入了一个信息极其丰富的时代。人们通过网络了解世界、查找资料，但包容万象的 网络信息内容过于庞杂，如何查找到所需的某类资源成为人们日渐关注的问题。将 网络信息内容进行分类就是解决这个问题的一种很好的方法。若采用传统的人丁分 类的方法，不仅费时、费力，而且远远不能满足人们当前的需求。因此采用计算机 实现的文本自动分类就成为了必然的选择。 本文主要实现了～个基于支持向量机的中文网页内容的自动分类系统。本文首 先介绍并实现了局域网内通过网卡截获网络数据报并对数据报进行重组，牛成了 HTML页面，再结合HTML页面内容提取技术得到了纯文本文件，这些保证了系统 的实时性。 本文对几种常用的中文自动分词算法进行了说明，并指出了不足之处，在此基 础上提出并实现了一种新的基于Bigram的无词典分词利特征词抽取算法，这是本文 的一个创新之处。此算法不仅能够提高特征词抽取的准确性、很大程度上降低了特 征词的维数，提高了系统的分类性能，并且可以根据不同的训练集牛成不同的特征 词分词词典，具有很好的扩展性和灵活性。 本文在介绍和比较了几种常用的文本自动分类算法的性能和适用环境的基础 上，采用了支持向量机算法的序列最小最优化训练算法实现了中文网页的自动分类， 提高了系统的效率和准确性。系统可以在出现较大的分类误差时，通过对分类器重 新训练进行修正，不需要人工添加特征词等工作，具有很好的A学习功能，为更广 泛的应用打下了基础。 最后的实验结果表明，此系统可满足一般文本分类系统的要求，并具有实时性、 灵活性、可扩展性、易用性及广泛的应用性等特性。 关键词文本分类；中文自动分词；Bigram；支持向量机；序列最小最优化法 ABSTRACTWith ABSTRACT With the development of Internet．information in Internet has been enlarged at increditable speed．A new information has come to lives of members of society． Understanding this world and searching for the information from Internet becoming very popular．However,there iS much information on the Intemet and it iS becoming focused issue how to get the knowledge needed．The classified information should be good solution．Nevertheless，classification manually is costly and time·consuming，it can not satisfy the members of society．As a result．the automatic classification with computers is an inevitable choice． In this paper,a Chinese web pages automatic classification based on Support Vector Machine(SVM)was implemented．Firstly,the principle of how to capture the IP packets and generate HTML files jn LAN WaS discussed．Secondly,with the contents’extraction． the HTML text contents were generated．In the end，through the capture of the IP packets and the content’S extraction from HTML．a real-time automatic classification systern was implemented． Some common Chinese segment methods were described and compared and their deficiency were also discussed．Based these，a new dictionary—free Chines