大数据技术-发展趋势的报告_20131017.docx

大数据技术发展趋势的报告大数据技术技术现状大数据技术概述大数据（Big Data）是近来的一个技术热点，根据业界定义，其具有三个显著特点：Volume（大容量）：所涉及的数据量在TB和PB级；Velocity（快速访问）：通常是对时间敏感的，大数据必须在企业内快速使用，以最大限度地发挥其商业价值的；Variety（多样化）：各种大数据结构化数据，包括非结构化数据的所有品种以外的延伸：文本，音频，视频，点击流，日志文件等等。大数据（Big Data）作为一个专有名词成为热点，主要应归功于近年来互联网、云计算、移动和物联网的迅猛发展。针对于金融行业，目前我行核心系统每天的业务量在1.1亿笔左右，而且多种渠道接入，要存储与处理的数据量比以往突飞猛进，而业务发展对数据处理的实时性、有效性又提出了更高要求，传统的常规技术手段难以应付。在这种情况下，IT业界纷纷研发和采用一批新技术，主要包括分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案等。根据银行的数据处理特点，我们着重调研了基于MPP的分布式数据库、分布式文件系统两种技术。MPP分布式数据库系统，分布式数据库的典型产品有Teradata、EMC Greenplum、HP Vertica 、Teradata Aster Data等，显著特点是基于MPP（海量并行处理）和Shared-Nothing（完全无共