基于领域知识的网页筛选系统.pdfVIP

基于领域知识的网页筛选系统¨ WebDocumentsFilter BasedontheDomain System Knowledge 韩近强赵静杨冬青唐世渭姚小波 (北京大学计算机科学与技术系 北京100871) (北京大学视觉听觉与信息处理国家重点实验室 北京100871) (广州新太科技股份有限公司 广州510665) Abstract Becausetraditionalmethodsof arenotsuitableforinformationextractinre— filtering to and introduceanovelmethodof basedonthedomain gardefficiencyaccuracy，we filtering filtertheWeb not but documents totheircontentsalsobasedon knowledge．We onlyaccording thecharacteristicoftheir totheresultsof showsthatour URLs．According experiments，it methodiSmoreaccurateandmoreefficientthantraditionalmethodoffiltering． KeywordsFiltering，Classification，E—Commerce 1)我们要求分类的准确率接近100％，转变成 1．引言 向量模型的分类方法一般只有80％～90％，所以在 随着Internet技术的迅速发展，Web已经成为准确率上不能满足我们的要求； 了主要的信息来源。目前的Web上的数据主要是以 2)速度上不能满足我们系统的要求； HTML网页形式存在的。如何从已知的HTML中3)Wrapper应用一个模板只能够提取一组结 提取有用的信息成为当前的一个研究方向。COM— 构相似的网页，所以我们分类要求不仅仅是内容上 MIX系统中的Wrapper就是这样一个系统。它按照 符合，而且还要求网页在结构上相似。向量模型的分 预先定义好的模板来提取网页信息并储存为XML 类方法不能满足对网页结构相似的要求。 文件。一方面并不是所有的网页都是可以用来进行 4)Wrapper要求用于信息提取的网页是信息 提取的，所以我们只关心信息完全的那类网页；另一 完整的，基于关键字的筛选方法和传统的向量模型 方面由于Wrapper中的一个模板只能用于提取一的分类方法都不具备分出这一类网页的能力的。 类结构相似的网页的信息，因此我们能够进行信息 正是由于这些原因迫使我们必须寻找新的解决 提取的一类网页应该满足结构相似的特点。如何快 方法。本文给出了该问题的一种解决方法。 速准确地分出满足上述两点的一类网页并用于 本文介绍的Commix中的网页筛选系统主要分 Wrapper的信息提取成为我们研究的一项主要任 为两部分。第一部分是基于专家给出的规则通过规 务。 则匹配对大量网页进行估测并筛选出特定领域的网