基于HTML树网页结构相似度研究.pdf

情 报 学 报摇 摇 摇 ISSN 1000-0135 JOURNAL OFTHE CHINA SOCIETY FOR SCIENTIFIC ANDTECHNICAL INFORMATION ISSN 1000 -0135 第30卷第2期160 - 165,2011年2月 Vol.30 No.2,160 - 165 February 2011 試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試 doi:10.3772/ j.issn.1000鄄0135.2011.02.007 基于HTML树的网页结构相似度研究1) 宋明秋摇 张瑞雪 (大连理工大学系统工程研究所,大连 116023) 摘要摇 摇 HTML 网页信息是一种半结构化的数据,而且不同网页之间在其结构特征方面都具有一定的相似性。 本文 就是从信息的结构性角度来研究不同网页信息块之间的相似性,并提出了基于子树最优自由匹配规则的结构相似度 度量模型以及利用网页结构相似性提取网页信息的方法。 本文中的计算方法都用python语言实现。 通过实验,本文 对不同网页之间的相似度进行了计算和分析,实验数据表明,基于子树最优自由匹配规则的树结构相似度度量模型具 有较好的系统性和适用性;通过树结构相似度来确定网页内部元素及两个网页之间的联系,也弥补了传统方法中依赖 单调的文本信息比较的不足,使得网页信息提取更加准确,更加迅速。 关键词摇 摇 HTML树摇 结构相似度摇 自由匹配摇 信息提取 Study on Web Structural Similarities Based on HTML Tree Song Mingqiu and Zhang Ruixue (Institute of SystemEngineering,Dalian University of Technology,Dalian 116023) Abstract摇 摇 HTMLweb information is a kind of semi鄄structured data,and different web pages alwayshave some kind of similarity in structure. From the perspective of information structure, this paper has studied the similarity between two different blocks of web information,and proposed a new model of calculating structural similarity based on optimally free matching on sub trees and a method of extracting web information by using structural similarity. All of algorithms in this paper areimplementedbyPython. Wehavecalculatedandanalyzedthesimilaritybetweendifferentwebpagesthroughexper鄄 iment,which shows that our model of calculating structural similarity is of stronger systematicness and applicability. Comparedwith traditional methodwhich relies on the monotony text inform