一个中文网络文本过滤系统设计.docVIP

一个中文网络文本过滤系统设计 　　摘要：信息过滤是海量信息检索的重要手段之一，中文网络文本过滤系统在我国更具有明显的应用价值。该文介绍实现的一个中文网络文本过滤系统；该系统包括中文预处理、特征项选择、权重计算和分类等功能模块，可以方便地实现对中文网络文本的过滤功能。同时对系统采用的文本过滤算法的性能进行了测试。该系统具有一定的可扩充性和通用性。 　　关键词：文本过滤；中文；向量空间模型；分类 　　中图分类号：TP391文献标识码：A文章编号：1009-3044(2008)26-1704-03 　　A Chinese Network Text Filtering System 　　GE Liang1, ZHAO Jian-guo2 　　(1.Anhui Grain Wholesale and Trade Market, Hefei 230001, China;2.Infomation Technology Dept，Huishang Bank，Hefei 230001,China) 　　Abstract: Information filtering is one of the most important methods in large scale information searching. A Chinese text filtering system has a high application value especially in Chinese Environment. This paper proposed an actual Chinese text filtering system. It had functions including Chinese text pre-procession, Feature selection, Weights calculation and Classification; at the same time, the text filtering algorithms used in this paper was tested. The proposed system has some good features such as expansion and universal. 　　Key words: text filtering; chinese; vector space Model; classification 　　 　　1 引言 　　 　　随着互联网的快速发展，网络上的信息量以极高的速度在不断增长。为了能够方便地找到所需要的信息，信息过滤已成为网上信息检索领域重要的研究课题之一。由于网络上的信息主要是文本形式，因此文本过滤是信息过滤研究目前的主要方向；进一步，在我国，中文是主要的信息载体，因此，中文文本过滤系统的设计更具有明显的现实意义。 　　信息过滤就是根据用户的信息需求，在大量动态产生的信息流中选择信息并呈现给用户。目前，文本过滤主要面向英文载体，已有许多面向英文的文本过滤技术与系统被提出[1-2]。从采用的过滤技术来看，早期的文本过滤技术主要是单纯的关键字匹配以及基于词频的统计方法。这种过滤方法具有简单适用、不受文本所属领域限制、文本过滤的质量比较稳定等优点；但由于没有理解文本的内容而无法判断文本含义，因此过滤的准确率比较低。后来，研究者将注意力集中在理解式自动过滤系统的研究上，同时，语料库、语言学的发展也为理解式过滤系统的研究提供了新的机会。但是，由于自然语言理解技术是理解式信息处理的关键，而采用何种手段进行语法、语义分析，用怎样的模型表示篇幅内容等一系列问题还没有彻底解决，这些有待解决的难题还制约着理解式信息过滤方法的发展。 　　中文不同于英文，中文在形式、结构等方面都具有完全不同的特性。因此，英文文本的过滤技术不能直接应用到中文文本上。随着Internet的迅速发展及需求的不断增加，网上中文信息以前所未有的速度递增，中国上网人数也在急剧增加；所有这些都为中文文本过滤提出了更高更新的要求。就面向中文的文本过滤系统而已，我国的研究还在初级阶段[3-5]。研究人员提出了一些如中文文本过滤的信息分流机制、基于范例的中文文本过滤模型等重要的方法和思想，也开发了一些实验系统原型并在不同领域达到了不同的过滤精度。但是，面向英文的种种过滤算法是否适合中文文本过滤，还有待于实验的检验，有的需要改进，有的可能还要另辟蹊径。因此，中文网络文本过滤系统的设计与实现是必要的。 　　本文设计并实现了一个中文网络短文本过滤系统，并测试了各种算法的效率。系统可以很方便地实现扩展。 　　本文下面的内容安排如下：第2节介绍系统框架，包括各个组件的组合、