基于链接分块的相关链接提取方法.pdfVIP

基于链接分块的相关链接提取方法 王 芳，于 浩，谭红叶，赵铁军 (哈尔滨工业大学计算机学院机器智能与翻译研究室，哈尔滨 150001) E-mail:fangwang@ 摘 要:每个网页都包含了大量的超链接，其中既包含了相关链接，也包含了大量噪声链接。提出了一种基于健接分块的 相关链接提取方法。首先，将网页按照HTML语言中table标签将网页分成许多的块，从块中提取链接，形成若干链接 块;其次，根据相关链接的成块出现，相关链接文字与其所在网页标题含相同词等特征，应用规则与统计相结合的方法从 所有链接块中提取相关链接块。相关链接提取方法测试结果，精确率在85%以上，召回率在70%左右，表明该方法很有效。 关键词:网页分块;链接块;相关链接提取 文章编号:1002-8331(2006)31-0110-04 文献标识码:A 中图分类号:TP391 RelationLinksExtractedApproachBasedonBlockingLinks WANGFang,YUHao,TANHong-ye,ZHAOTie一un (MachineIntelligenceandTranslationLaboratory,DepartmentofComputerScienceand Technology,HarbinInstituteofTechnology,Harbin150001，China) Abstract:Therearelotsofhyperlinksinawebpage,includingrelationlinksandnoisylinks.Anovelapproachis proposedtoextractrelationlinksfrom pagebasedonlinkblock thispaper.Theapproachiscomposedoftwosteps. Firstly,awebpageispartitionedintolotsofblocksaccording HTMLtagtablein a web .Then links Tare- extracted relation link block using r ur fromblocksandlotsoflinkblocksare gotten.Secondly, instance, blockandtheiranchor hascommonwo记swith titleofcurrentpagewhere relationlinkbelongstoone relationlinkislocated.Theresultofexperimentshowsthat ethodiseffective,withabove 85% precise rate and about70% recallrate. Keywords:pagesegmentation;linkblock;relationlinkextraction 1 引言 息，常常会导致搜索及网络挖掘等研究结果的偏差。所以，基于 网络给人们提供了一种很好的资源共享的方式，既包含大 网页分块的研究越来越多。目前主要的网页分块方法有以下几 量的有用信息，也包含了大量无关冗余的“噪声”信息。近年来， 类:基于DOM的页面分割方法(DOMbasedsegmentation)1^1, 网络信息资源爆炸式的增长，给人们获取自己想要的信息带来 基于位置的页面分割(location-basedsegmentation)e[1和基于视 很大的难度，所以提供一