网络书目信息抓取系统的设计与实现.docVIP

网络书目信息抓取系统的设计与实现 王泽贤 （广州大学图书馆，广州 510006） 文 摘 基于网上专业图书网站提供的书目信息可以弥补图书馆传统馆藏书目数据的不足，满足读者通过书目获取图书详细信息、甄别图书等需求的思想，介绍了网络书目信息抓取系统的系统功能；分析了系统结构、数据库结构，详细说明了网页抓取器、抓取管理器等关键功能的实现过程，最后通过实际测试验证了该系统。 关键词 网络书目信息 网页抓取 NekoHTML The Design and Implementation of Network Bibliographic Information Crawler System Wang Zexian （Guangzhou University Library, Guangzhou 510006） Abstract: The bibliographic information that in professional book websites are more particular than in libraries. So, they can make up for the inadequacies which are in traditional bibliographic data in libraries, and they can content with the requirements, which the readers want, through the bibliographic data. The author introduces the function of the network bibliographic information crawler system in this paper, analyses its system and its database structure. Here also discusses in detail about the realization of the web crawler and the crawl manager. In the end of the paper, the author validates the system through actual test. Keywords: Network Bibliographic Information, Web Crawler, NekoHTML 1 引言 目前，随着图书数量的急剧增长，以及计算机网络技术的快速发展，读者对图书书目信息的要求越来越高。然而，就当前绝大多数图书馆的馆藏书目而言，书目数据中所包含的附注信息仍只停留于简单的内容简介、作者简介、出版沿革等层面，远远不能满足读者通过书目获取图书详细信息、甄别图书等需求。而另一方面，亚马逊[1]、当当网[2]、豆瓣网[3]等专业图书网站的书目数据则详细许多，除了提供图书的题名、作者、出版社等基本信息外，还提供了图书封面图片、编辑推荐、内容简介、作者简介、目录、媒体评论、书摘插图等更为详细的信息。这些信息无论是在读者借阅还是采访人员采购筛选图书时，都提供了十分有用的参考价值[4]。 近年来，国内图书馆界就如何在图书馆有效利用这些外部的网络书目详细信息，已展开了初步的研究，也取得初步的成果。例如，国内已有部分OPAC系统利用豆瓣网提供的开放接口，通过远程调用的方式，实现了在显示书目信息时，提供豆瓣网的详细书目信息功能[5]。然而，这种远程调用方式存在着一些比较明显的缺点，如：要求访问外部网络；提供开放接口的网站较少；需申请开通才能使用，并且访问数量、频率会有限制[6]；速度较慢；信息来源单一；只实现了显示信息的扩展，没有实现检索点的扩展等。此外，这种远程调用的研究目前也仅限于调用上，在如何将网络上专业网站提供的书目信息抓取到本地，以供进一步加工、整合、利用上则尚未有涉及。本文介绍了网络书目信息抓取系统的设计与实现过程。该系统实现了将专业图书网站提供的详细书目信息下载到本地数据库，抓取的内容包括文字信息及图片信息。此举可弥补馆藏书目数据信息的不足，大大改进OPAC、采购等系统功能，同时，克服了远程调用开放接口方式的不足。 2 系统设计 2.1 系统结构设计 网络书目信息抓取系统采用了分层、模块化的设计方式，主要包括数据层与业务逻辑层两层：数据层包括了参数管理器、数据存取器两个模块；业务逻辑层包括了网页抓取器、抓取管理器两个模块。整个系统的结构如图1所示。 图书网站1 图书网站1 抓取管理器 参数文件 数据库 数据存取器 参数管理器 抓取书目ID管理 抓取线程1 网页抓取器1 网页抓取器2 网页抓取器n 图书网站2 图书网站n 抓取线