ICT论文精选.docVIP

电子科技大学 ICT前沿技术研讨课论文 ——大数据管理技术综述 学 院：通信与信息工程学院 学 号： 2012019030012 学生姓名： 章俊伟 指导教师： 于富财 完成时间： 2014年10月14日 大数据管理技术综述技术综述 摘要:人们与日俱增的网络行为和全世界各种工业设备等无时无刻不在产生着海量数据信息，人类已经进入了大数据时代。本文将从数据库系统、海量信息存储、搜索引擎、数据挖掘四个方面介绍如何对数据进行有效的整合利用。 关键词：数据库系统、海量信息存储、搜索引擎、数据挖掘。 正文: 数据库系统 关系数据库，是建立在关系数据库模型基础上的数据库，借助于集合代数等概念和方法来处理数据库中的数据，同时也是一个被组织成一组拥有正式描述性的表格，该形式的表格作用的实质是装载着数据项的特殊收集体，这些表格中的数据能以许多不同的方式被存取或重新召集而不需要重新组织数据库表格。关系数据库的定义造成元数据的一张表格或造成表格、列、范围和约束的正式描述。每个表格（有时被称为一个关系）包含用列表示的一个或更多的数据种类。 每行包含一个唯一的数据实体，这些数据是被列定义的种类。当创造一个关系数据库的时候，你能定义数据列的可能值的范围和可能应用于那个数据值的进一步约束。而SQL语言是标准用户和应用程序到关系数据库的接口。其优势是容易扩充，且在最初的数据库创造之后，一个新的数据种类能被添加而不需要修改所有的现有应用软件。目前主流的关系数据库有oracle、db2、sqlserver、sybase、mysql等。 基本概念： 1）关系数据库 在一个给定的应用领域中，所有实体及实体之间联系的集合构成一个关系数据库。 2）关系数据库的型与值 关系数据库的型称为关系数据库模式，是对关系数据库的描述，若干域的定义，在这些域上定义的若干关系模式。 关系数据库的值是这些关系模式在某一时刻对应的关系的集合，通常简称为关系数据库。 结构： 单一结构 单一的数据结构----关系 现实世界的实体以及实体间的各种联系均用关系来表示。 数据的逻辑结构----二维表 从用户角度，关系模型中数据的逻辑结构是一张二维表。 但是关系模型的这种简单的数据结构能够表达丰富的语义，描述出现实世界的实体以及实体间的各种关系。 主数据库 oracle数据库是oracle公司(中文名叫甲骨文公司)的,还有SQL,access；db2是IBM的(中文名称是国际商务机器公司)。主流的关系数据库还有微软的Sql server，Sybase公司的sybase，(英孚美)软件公司的informix以及免费的MySQL等。 集合 1)操作 查询:选择、投影、连接、除、并、交、差。 数据更新:插入（insert）、删除(delete)、修改(update)。 查询的表达能力是其中最主要的部分。 2)特点 集合操作方式：即操作的对象和结果都是集合。 (非关系数据模型的数据操作方式：一次一记录文件系统的数据操作方式) 3)种类 关系代数语言 用对关系的运算来表达查询要求。 典型代表：ISBL 关系演算语言：用谓词来表达查询要求元组关系演算语言。 谓词变元的基本对象是元组变量。 典型代表：APLHA, QUEL 域关系演算语言谓词变元的基本对象是域变量。 典型代表：QBE 具有关系代数和关系演算双重特点的语言。 典型代表：SQL 4)关系数据语言的特点。 关系语言是一种高度非过程化的语言 a.存取路径的选择由DBMS的优化机制来完成。 b.用户不必用循环结构就可以完成数据操作。 能够嵌入高级语言中使用 关系代数、元组关系演算和域关系演算三种语言在表达能力上完全等价 优势: 高度的数据独立性。 开放的数据语意、数据一致性、数据冗余性。 灵活的自定义数据操作语言。 海量信息存储 网络化存储是存储大规模数据的一种方式，以存储网络为中心的存储是全新的存储体系结构．它采用面向网络的存储体系结构，使数据处理和数据存储分离；网络存储体系结构包括了网络和I/O的精华，将I/O能力扩展到网络上，特别是灵活的网络寻址能力，远距离数据传输能力，I/O高效的原性能；通过网络连接服务器和存储资源，消除了不同存储设备和服务器之间的连接障碍；提高了数据的共享性、可用性和可扩展性、管理性。 网络存储体系结构主要分为直接附加存储（DAS）、网络附加存储（NAS）和存储区域网络（SAN）三种。每种体系结构都使用到了存储介质，存储接口等多方面的技术。 直接附加存储（DAS） 　DAS（Direct Attached Storage—直接附加存储）是指将存储设备通过SCSI接口或光纤通道直接连接到一台计算机上。DAS的适用环境为：　　1）服务器在地理分布上很分散，通过SAN或N