三段式逐步求精的中文Deep Web数据源自动分类.docVIP

三段式逐步求精的中文Deep Web数据源自动分类 　　摘要:针对单纯的Pre-query和单纯的Post-query分类方法对中文Deep Web数据源自动分类的不足,本文提出了三段式逐步求精的中文Deep Web数据源自动分类方法,并且基于该方法设计了相应的分类系统。通过实验表明:对于实验数据源,这种自动分类方法比单纯的Pre-query分类方法、单纯的Post-query分类方法以及无影响度差别的文献[2]的分类方法的查全率、查准率和F1值都要高。 　　关键词:Deep Web;数据源自动分类;中文;三段式 　　中图分类号:TP311文献标识码:A 文章编号:1009-3044(2009)14-3599-03 　　A Three-phase Gradual Refining Data Source Automatic Classification of Chinese Deep Web 　　HU Ping 　　(Department of computer, Huaihua University, Huaihua 418000,China) 　　Abstract: This paper presents a three-phase gradual refining data source automatic classification of Chinese Deep Web, and designs corresponding system based on this method. It has improved simple Pre-query and simple Post-query classification method. Eperiments show that: this method has the highest recall rate, the highest precise rate and the highest F1 value, among simple Pre-query, simple Post-query, our method and documents method that has no difference in effect on classification, for experiment data source. 　　Key words: Deep Web; Automatic Classification of Data Source; Chinese; Three-phase 　　1 引言 　　Deep Web数据源自动分类是当前的Deep Web研究中的一个热点。它实现将Deep Web资源按照现实的领域以自动的方式进行分类,以最终提高Deep Web资源的利用率。本文主要研究Deep Web数据源自动分类方法。目前,该研究还是一个刚刚起步的过程。Ipeirotis、Hedley、B.He、Qian Peng、Barbosa L等人 [1-4] 都提出了相应的Deep Web数据源自动分类方法。但是已有的研究工作只单纯地采用Post-query或Pre-query方法中的一种,并且绝大部分都忽略了上下文描述内容文本的利用和这些依据信息对分类影响度的差别。此外,中文Deep Web数据源自动分类研究也很少。 　　2 三段式逐步求精的中文Deep Web数据源自动分类方法 　　2.1 三个阶段结合的分类策略 　　单纯的Post-query分类方法,只依据查询返回的Web数据库内容摘要来分类。由于它返回的结果毕竟只是数据库的部分内容,而当数据库的记录具有较多属性时,这种方法则难以取得较好的分类效果。 　　而单纯的Pre-query分类方法,只依据查询接口表单网页自身的特征来分类。它仅适合数据库的内容可以完全由表单的特征表示出来的情形,它对一些查询接口表单中不含有任何基于领域特征属性的Deep Web数据源无法分类,从而使得这种方法总的分类效果不好。尤其是对中文Deep Web数据源,如果仅仅采用这种Pre-query方法,由于有较多的中文数据源的查询接口是不含有任何基于领域特征属性的简单查询接口,其自动分类效果则会更加不理想。 　　为此,本文提出了一种三段式逐步求精的中文Deep Web数据源自动分类方法。该方法将Post-query和Pre-query方法有机地结合起来,并且设置了两种不同的分类影响因子,通过Deep Web查询接口表单特征的利用、Deep Web数据库内容摘要的利用以及上下文描述内容文本的利用,这三个阶段逐步提高了中文Deep Web数据源自动分类的效果。 　　本文的分类策略包含以下三个阶段: 　　1)Deep W