基于云计算信息检索定位研究.docVIP

基于云计算信息检索定位研究 　　摘要：随着云计算技术的飞速发展，海量信息分散存储在“云存储”结构中，由于数据源异构，在对其进行信息检索时易出现数据丢失或迷路现象。本文通过对异构数据进行分析，构建了一种云计算环境下的异构数据集成模型，共包括五个功能模块：云结构下的数据采集与分析接口、数据组织任务调度引擎、异构数据集成接口、云存储和资源管理和安全管理模块。本文还介绍了异构数据资源统一检索定位的常用技术，如并行检索技术、服务器集群检索技术、网页的深层挖掘技术和检索数据库共享技术。 　　关键词：异构数据；信息检索定位；搜索引擎；云计算 　　中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2018）08-0210-02 　　1引言 　　云计算是近年来提出的一种计算模型，到目前为止，业界对云计算还没有统一的定义，常见的定义主要包括以下几种： 　　（1）维基百科的定义：云计算以服务的形式提供给用户IT相关的能力，允许用户在不了解服务所需的技术、无需知识背景和设备操作能力的基础上，通过互联网获取所需的服务。 　　（2）中国云计算网的定义：云计算是分布式计算、并行计算和网格计算的发展，换句话说，云计算是这些科学概念的商业化实现。 　　（3）文献通过综合分析，提出如下定义：云是一个资源池，包含了大量可用的虚拟资源，如硬件、I/O服务、开发平台等。这些虚拟资源可根据不同的负载进行动态重新配置，以达到更高的资源利用率。 　　根据以上定义，云计算技术的基本特征可以归纳如下： 　　（1）云计算系统提供服务：服务机制对用户是透明的，用户不需要了解云计算的具体机制，就可以获得所需的服务。 　　（2）通过冗余方式实现可靠性：云计算系统通过数据冗余和分布式存储方式确保数据的可靠性，而不需要特定的硬件组件的支持。 　　（3）高可用性：云计算可以提供高质量的服务，具有集成的海量存储和高性能的计算能力。云计算系统能够在不影响系统运行的情况下，自动检测故障节点并将其删除。 　　（4）高层次编程模型：云计算系统提供高层次的编程模型，用户仅通过简单的学习即可编写云计算程序，并在“云”系统上运行，以满足他们的需求，目前的云计算系统主要使用Map-Reduce模型。 　　（5）价格低廉：由大量商用计算机组成集群的成本远低于性能相同的超级计算机的成本。 　　（6）服务多样性：用户可以根据自己需求选择不同级别的服务，为其支付不同的费用。 　　2云计算对信息检索的影响 　　传统的搜索引擎存在着存储容量不足、计算能力有限、硬盘损坏或老化、服务器昂贵、维护成本高、故障检测速度慢等问题，“云计算”的出现改变了互联网的服务模式，也给信息检索技术带来了巨大的变化。云计算平台将单个服务器连接成一个“云”，每个服务器成为云中的一个节点，从而形成了检索成本低、检索速度快、信息资源利用率高的信息检索系统。 　　云计算技术对信息检索的影响主要表现在检索模式和存储模式两个方面： 　　2.1检索模式的改变 　　传统的信息检索主要采用集中式串行检索模式，检索系统覆盖范围有限，检索效率较低，且一旦在某些环节出现差错就会影响整个检索过程和结果。云计算技术应用了分布式并行计算模式，连接了地理分散、完成特定功能的子系统，系统中的每个节点都可以是并行计算机。信息检索由多台服务器并行执行，大大提高了运算速度，可以处理海量数据。 　　2.2存储模式的改变 　　云计算应用“云存储”模式，收集网络中的存储设备并通过应用软件协同工作，提供了数据存储和业务访问功能。云存储由存储层、管理层、应用接口层和访问层构成，将以往孤立的存储方式转变为集中管理。以前的数据主要存储在信息提供者的服务器上，而云存储提供商则向集中数据中心的用户提供数据存储服务，用户可以通过终端软件访问存储数据。由于数据源异构，在对其进行信息检索时易出现数据丢失或迷路现象。针对这一问题，本文构建了云计算环境下异构数据集成模型，提出了异构数据资源统一检索常用技术。 　　3云计算环境下的异构数据集模型 　　本文提出的异构数据集成模型可以智能地集成各种关系型和非关系型异构数据，满足海量数据并发性高、工作量大、速度快等查询要求。该系?y模型共包括五个功能模块，逻辑框架如图1所示。 　　3.1云结构下的数据采集与分析接口 　　云结构下的数据采集和分析接口是该模型统一的内部调用接口，实现用户查询请求分析和结果显示。对于分布式数据库、传统的关系数据库和NoSQL数据库系统，该模型支持统一定制查询请求以满足不同类型的数据查询需求。用户可以通过自定义shell接口和标准SQL接口提交用户数据来访问并分析请求。通过统一接口调用请求描述、解释命令、重写查询请求、调用下层异构数据集成接口，最后返回用户所需的数据并得到