基于扩散理论的HITS算法在Web挖掘中的研究与优化.docVIP

基于扩散理论的HITS算法在Web挖掘中的研究与优化 第29卷第1期 2012年1月 计算机应用研究 ApplicationResearchofComputers Vo1.29No.1 Jan.2012 基于扩散理论的HITS算法在Web 挖掘中的研究与优化术 马瑞新,邓贵仕,王晓 (1.大连理工大学软件学院,辽宁大连116621;2.大连理工大学经济管理学部,辽宁大连116602) 摘要:传统的HITS算法单纯地对网页的链接结构进行分析,忽视了页面内容分析和网页的链接增幅,导致了 主题偏离和搜索精度不高的问题.针对上述问题进行研究与分析,将超链接信息检索方法与页面内容相结合, 根据优先情节和增长定律,提出了一种改进的基于扩散理论的HITS算法.实验结果表明,与传统的HITS和 SALSA算法相比,该HITS算法能够有效地限制主题偏离,提高搜索精度,具有较高的实用价值. 关键词:,HITS;网页链接增幅;主题偏离;优先情节;扩散理论 中图分类号:TP309文献标志码:A文章编号:1001—3695(2012)01—0145—03 doi:10.3969/j.issn.1001—3695.2012.01.041 ResearchandoptimizationofHITSbasedontheoryofdiffusioninWebmining MARui—xin,DENGGui—shi,WANGXiao. (1.CollegeofSoftwareEngineering,DalianUniversityofTechnology,DalianLiaoning116621,China;2.Dept.ofInformationSystemEngi- neering,DalianUniversityofTechnology,DalianLiaoning116602,China) Abstract:TraditionalHITSsimplyanalyzesthe】inkstructureofWebswhileignorestheresearchofWebcontentandWebref- erenceamplification,whichresultsintopicdeviationphenomenon.Thispaperintermsoftheaboveissuestocomeupwitha noveloptimizationofHITSbasedonthetheoryofdiffusion.Thismethodonthebasisofprioritycomplexandgrowththeorems tocombinehyperlinkinformationretrievalandWebcontentanalysistogethertoimprovethesearchaccuracyofHITS.Experi— mentalresultsshowthatcomparedwithSALSAandthetraditionalHITS.theimprovedHITSiSabletoeffectivelyrestrainthe topicdeviation.increasesthesearchaccuracywithhighpracticalvalue. Keywords:HITS;Webreferenceamplification;topicdeviationphenomenon;prioritycomplex;diffusiontheory. 0引言 随着互联网技术的迅速发展,网络信息资源越来越丰富, 用户可以更加方便快捷地获得各种信息.然而,由于Internet 自身的开放性,动态性和异构性…等特点,导致有用信息,知 识获取困难.虽然使用Google,百度等搜索引擎可以大大减少 无用信息的干扰,但是这些引擎的搜索结果有时也:尽人意. 在解决信息过载,用户迷失的问题上,Web数据挖掘技术可 以为用户提供更精确,更相关的数据,因此逐渐成为当前研究 的热点. 本文从Web结构挖掘人手,针对Web结构挖掘中的典型 算法HITS进行改进优化,结合Web内容扩散理论的分析对页 面的authority和hub值进行加权改进,有效地抑制了主题偏 离J,提高了页面搜索精度. 1Web数据挖掘 1.1Web数据挖掘的分类 Web数据挖掘是指从大量的Web文档集合c中发现隐含 的,潜在的模式Pl4J.如果将C看做输入,P看做输出,那么 web数据挖掘的过程就是一个从输入到输出的映射C—P. Web数据挖掘一般可分为三类: a)Web内容挖掘.它是指对Web的页面内容进行挖掘, 挖掘的对象包括文本,音频,视频,图像等各种类型的数据. b)Web结构挖掘.它是对Web页