面向网页结构特征的Hopfield算法_李光敏.pdf

2011 年 第 20 卷 第 7 期 计 算 机 系 统 应 用 面向网页结构特征的Hopfield 算法① 李光敏，陈年生，许新山 (湖北师范学院 计算机科学与技术学院，黄石 435000) 摘 要：针对目前互联网信息资源广泛、网页结构复杂、噪音信息较多的现状，主题爬虫获取有效信息过程中 精确度低、耗费时间长等问题。结合经典的 Hopfield 算法，提出了针对网页结构特征进行分块的主题爬行改进 算法，实验证明该改进算法在一定程度上能有效地解决目前信息获取过程中所面临的问题。 关键词：垂直搜索；网页分块；主题爬行；相关度计算 Hopfield Algorithm Orienting for Web Page Structure-Feature LI Guang-Min, CHEN Nian-Sheng, XU Xin-Shan (College of Computer Science and Technology, Hubei Normal University, Huangshi 435000, China) Abstract: As the Web continues to grow, it has become increasingly obvious that information overload and is terribly noisy. In this paper, to address such issues as low precision, much time-consumption, we present an improved Hopfield algorithm orienting web page structure feature. The experimental results show that the proposed approach is practical. Key words: vertical search; page segmentation; topic crawling; relevance computation 1 引言 等人在此基础上提出的 Shark-Search 算法。后者主要 Internet 的出现使得互联网的信息容量按指数规 包括有 Chakrabarti[4]等人提出的分层主题分类的方式 律飞速增长,对于学术研究方面的信息增长同样也不 来选择待爬行的链接、Aggarwal[5]等人建立的统计分 例外。目前通用搜索引擎很难满足学术研究人员对特 析主题特征的学习模型来供爬行。这两种爬行策略在 定领域范围内高质量、个性化、即时化信息检索的需 Web 信息获取的召回率和精确度上都有很好的效果， 求，但垂直搜索引擎能很好的解决这一窘境，它对抓 但也存在一些不足之处，即它们都是对整个网页内容 取的信息进行分析、挖掘、筛选，精准的定位，从而 和链接综合评价，这样导致有大量不相关的内容和链 确保了学术研究人员能够迅速准确地了解最新学术研 接会被优先分析爬行[6] 。同时Michael Chau 在文献[7] 究动态、分享交流研究经验。为了保证垂直搜索引擎 中对比分析的 Hopfield 爬行算法要明显优于传统的网 信息资源的充足有效，而主题爬虫的高效爬取方式则 络爬虫算法。因此本文提出的专门针对在线期刊论文 担当其重要角色。 的网页结构特征且结合应用 Hopfield 算法的爬行策略 避免了对整个网页进行评价的粒度过粗问题，又在保 2 相关工作 证信息的召回率和精确度的同时，提高爬行效率。 早期主题爬虫的爬行策略主要分基于网页链接分 针对网页结构特征进行分块的算法，许多学者[8,9] 析和基于网页内容分析，前者经典的算法有