面向Blog的网络爬行器设计与实现研究.pdfVIP

面向BIog的网络爬行器设计与实现一 朴星海，赵铁军，郑德权，张迪 教育部微软语言一语音重点实验室，哈尔滨工业大学，150001 E·mail：xhpiao@mtlab．hit．cdu．cn 摘要：随着一种新的信息管理和发布工具逐渐被大家认识和使用。互联恻的“个人门户”时代已经迎面走 爬行器。与通用爬行器相比．具有面向专业，速度快和搜索信息准确度高的特点． 关键词：爬行器：Blog and on WebCrawler DesignImplementationBlog—Oriented Plan Di Xinghai，ZhaoTiejun，ZhengDequan，Zhang MOE-MS ofNatural and KeyLaboratoryLanguageProcessingSpeech HarbinInstitute 150001 ofTcchnology,Harbin，China Abstract：Withthe and ofanewinformation and too] recognizationusing managementpublication whichis Personal internet Portal”eraofthe has sucha Blog．”The coming．Thispapergives of crawlerwhichis oriented．The web isfaster．moreaccuratethanthe system Blog system commonwebcrawleranditisalsomore oriented． professional Keywords：Crawler：Blog l引言 特指一种特别的网络个人出版形式。Blog被众多机构和媒体评为2004年最热门的互联网现 象，国内外众多媒体和网站都将Blog作为2004年最热门的词汇。 据不完全统计，到今天，全世界自觉实践的博客数量已经达到50万到100万之众。虽 然与3亿以上的网民相比，还显得微不足道．但是这些博客的影响力．却早已超出了他作为 个人、甚至作为自己所在行业的原有范围，开始引起主流媒体的强烈关注，并明显感受到博 客崛起对传统媒体的冲击。同时，各个专业领域的博客如雨后春笋般，纷纷浮出水面，越来 越成为该专业关注的焦点。除了美国，英国、匈牙利、德国等欧洲国家的博客也形成声势。 亚洲，包括中国也开始感受到博客的脉动。估计．在最近一两年内，博客将成为互联网萧条 时期最重要的新现象之一。为全社会所关注。有人说互联网正在经历一场类似纸张的出现给 社会带来的那样的变革，随着一种新的信息管理和发布工具逐渐被大家认识和使用，互联网 的“个人门户”时代已经迎面走来，这种新的信息组织和传播方式，就是Blog。 本文得到国家自然科学基金60575041)的赞助 一331— 然而随着网络上的信息资源屯速膨胀，如何在浩瀚如烟的信息空间里快速查找并获取所需的信 息，已成为信息时代最根本的问题之一”。网络搜索引擎在网络信息资源查找中起了重要的作用。 数篇关于网络爬虫的论文[2,3,41。由于当时互联网上的信