面向主题的垂直搜索引擎系统的研究与实现.pdfVIP

28 7 V ol . 2 8 N o. 7 2011 7 MICROEL ECT R ON ICS COM PU T ER J uly 2011 1 2 1 3 2 施 佺 王恒山 肖仰华 丁卫平 ( 1 20009 3; 2 2260 19 ; 3 200433) : 针对通用搜索引擎的信息量大查询不准确深度不 等问题 给出了面向主题的垂直搜索引擎的体系结 构 设计了垂直搜索引擎系统的爬行策略 对系统核心信息采集模块运用了多线程技术及基于VSM 的主题相关度 判断算法进行主题网页爬行 并通过 Lu cene. Net 的索引与检索技术建立系统的检索算法 实现了 一个面向特定主 题的垂直搜索引擎应用系统. 实验测试结果表明 该系统具有较高的提取效率 其检索的准确率召回率均大大高 于通用搜索引擎 具有较好的实用价值和商业应用前景. : 垂直搜索; 网络爬虫; L u cene. N et ; 正则表达式 : T P311 : A : 1000- 7 180( 20 11) 07 - 0001- 04 Research and Implementation of Subject- Oriented Vertical Search Engine System S H I Qu an1 2 W A N G H engsh an 1 X IA O Y anghua3 DIN G Weipin g2 ( 1 Co lleg e of M anag em ent U niversit y of Sh angh ai f o r Science and T echnolog y Shangh ai 20009 3 China; 2 Co llege of Com puter Science and T echno log y N anto ng U niver sity N anto ng 2260 19 China; 3 Scho ol of Computer Science F u dan U niver sity Shang hai 200433 China) Abstract: A general sear ch engine u su ally suff ers fro m returning t o u ser s to o mu ch unrelat ed inf or m ation . T o avo id these problem s o f general sear ch eng ine a subjecto riented v ertical search eng ine is pr oposed in t his p ap er f ollo w ed by the introdu ct ion of the craw ling st rateg y and the a rchitectur e o f this vert ical sear ch eng ine. Som e distinctiv e ch ar acter istics o f t his search eng ine inclu de: the system r uns it s co re modules on multiples threads; a top icr elated de