网络信息资源采集重点解析.pptVIP

3.2 OAI协议及收割器 OAI技术架构： Harvesting based on OAI-PMH Service providers data providers （b）DP与SP之间的关系 3.2 OAI协议及收割器 OAI技术架构： Aggregator Service providers data providers （c）DP与SP之间的关系 3.2 OAI协议及收割器 OAI技术架构： 数据提供者的必备条件： 元数据  数据库（或文件系统） 能通过Internet访问的Web server 编程接口（Perl, PHP, Java-Servlet，asp等） archive identifier和base URL 每个item都具有一个库内唯一的identifier 元数据格式 (one or more; at least: unqualified Dublin Core). datestamps for metadata (created / last modified) logical set hierarchy (may have)  流控制机制 3.2 OAI协议及收割器 OAI技术架构： 服务提供者的前提条件： an Internet-connected server ； a database system (relational or XML) ； a programming environment. (The programming environment must be one that can issue HTTP requests to web servers, can issue database requests, and includes an XML parser.) 3.2 OAI协议及收割器 OAI资源： 相关工具： 目前，常用的OAI工具软件有很多种，包括使用不同语言开发的（如C、JAVA、PERL、VB等）、面向不同系统平台的（如windows、Unix或linux）、支持不同数据库系统的（如Oracle、SQLserver、MySQL等）软件。著名的有Dspace、Eprints、CDSware、i-Tor、MyCore、DP9、Arc等。根据功能组成，可以将其分为三类： 数据提供者使用的软件。它包括全文数据收集与组织、元数据管理及与收获器的访问接口等功能，如OCLC的OAIcat、Dominion University大学的DP9等。 服务提供者使用的软件。主要包括收获器、存储模块、索引模块、用户检索接口等功能，如Old Dominion大学开发的Arc软件，它包括元数据收获、索引、Web检索接口、系统管理接口等功能模块，在Oracle、MySQL等关系数据库的支持下，提供跨库检索服务。 集成软件。为适应科学信息组织、管理与服务需求，有些软件同时集成以上两项功能，并将OAI功能集成到一个完整的信息管理系统中。如Southampton大学的Eprints、荷兰科学信息服务研究院开发的i-Tor等。 3.2 OAI协议及收割器 OAI资源： 相关网站 OAI官方网站（/community/index.html）：该网站包括文档、工具、团体、新闻、组织等五个方面的内容，覆盖了OAI各个方面的知识。 Open Archives Forum （） 3.2 OAI协议及收割器 OAI资源： 服务提供者：截至2014-03-29，共有34 家 SCIRUS （） CDL eScholarship Repository (/) My.OAI （http://www.myOAI.com） 数据提供者：截至2014-03-29，共有2236 家 3.2 OAI协议及收割器 基于OAI-PMH的资源整合： ? 参见《基于OAI-PMH的信息资源整合》 3.2 OAI协议及收割器 基于OAI-PMH的全文收割： 元数据收割器 元数据库 元数据索引器 查找引擎 用户 利用包装器方法获取全文的示意图 OAI数据 提供者1 OAI服务提供者 OAI数据 提供者n 全文库 全文获取器 全文索引器 包装器n 包装器1 … 3.3 语义化数据的采集 LD： 3.3 语义化数据的采集 LOD： / http://datahub.io/ 3.3 语义化数据的采集 SPARQL查询： /sparql/ select * where { ?s ?p ?o. FI