大数据分析及海量油田数据管理技术.docVIP

大数据分析及海量油田数据管理技术 2012年3月29日，美国联邦政府发布公告称将开发“大数据研发项目”，以最大限度地利用规模飞速增长的数字化数据。一石激起千层浪，“大数据”这一并不是非常新的术语再次引起了世界各方的高度重视。而大数据研究的核心并非数据的“量”有多大，而是如何有效、有序、系统地处理 包括访问、收集、保护、存储、管理、分析、挖掘、共享、辅助决策等 大量数据。因此也衍生出一个非常重要的研究领域—大数据分析 BDA 。 一、大数据简述 有关大数据，目前定义较多。通常来讲，大数据指的是规模超过了当前典型数据库软件工具获取、存储、管理、分析能力的数据集。可以看出，这种描述实际上是一种动态的描述，因为当前的技术总是在不断发展。严格来说，“大数据”更像是一种策略而非技术，其核心理念就是以一种比以往有效得多的方式来管理海量数据并从中提取价值。可以从如下 4 个方面 “4 V” 来阐述“大数据”理念。 1 数据类型多样 Variety 。即所处理的对象既包括结构化数据，也包括半结构化数据和非结构化数据。 2 数据处理高速 Velocity 。即各类数据流、信息流以高速产生、传输、处理。 3 数据规模海量 Volume 。即所需收集、存储、分发的数据规模远超传统管理技术的管理能力。 4 数据价值密度低 Value 。即大数据中的价值密度很低，因此也增加了价值挖掘的难度。由于海量数据中既包括结构化数据也包括非结构化数据，因此，分布式计算与分布式文件管理即成为了“大数据”策略的核心。 目前有关 BDA，尚无明确定义。简而言之，就是将先进的分析技术用于大数据集。因此，BDA 主要关注两方面内容：大数据本身及分析技术本身; 如何将二者有机融合，以实现从大数据中提取有价值的情报并用以辅助决策之目的。 具体来说，可用于 BDA 的分析技术包括了预测分析、数据挖掘、统计分析、复杂结构化查询语言 SQL 等，以及那些可以支持大数据分析的数据可视化、人工智能、事实聚类、文本法分析、自然语言处理、数据库等相关技术。可以看出，大多数 BDA 技术其实均可归入“发现分析”或“发掘分析”技术的范畴，而发现、发掘情报也是 BDA 的主要目标之一。 可以看出，实际上很多 BDA 技术并非什么新技术，只是由于其非常适用于“大数据”这一新兴对象，因此重新“焕发青春”。 大的数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统一些但不是所有的MPP的关系数据库的PB的数据存储和管理的能力。隐含的负载，监控，备份和优化大型数据表的使用在RDBMS的。对于大数据，它也是经常可以创建适用于大多数分析的汇总数据。例如一个计算不同地点车辆数量的交通遥测应用。这中方法可以产生大量的数据，但是如果汇总数据最后一分钟还存储在内存中，最后一小时存储在闪存中，最后一天存在磁盘上，那么控制应用程序所需的实际时间可以通过快速访问资源得到满足,然而假设分析时我们可以使用一些更便宜、更慢的应用程序是会怎样。 SOA都是抽象的，但当抽象隐藏了底层影响性能和响应时间的复杂性时，这种抽象的危险程度会提高。数据访问也是这样的，因此SOA架构师需要认真地考虑抽象与性能之间的平衡关系，并为其特定的业务需求优化它。大数据的影响，增加了对信息管理专家的需求，甲骨文IBM、微软和SAP花了超过15亿美元的在软件智能数据管理和分析的专业公司。这个行业自身价值超过1000亿美元，增长近10%，每年两次，这大概是作为一个整体的软件业务的快速。　　大数据已经出现，因为我们生活在一个社会中有更多的东西。有46亿全球移动电话用户有1亿美元和20亿人访问互联网。基本上人们比以往任何时候都与数据或信息交互1990年至2005年，全球超过1亿人进入中产阶级，这意味着越来越多的人，谁收益的这笔钱将成为反过来导致更多的识字信息的增长。思科公司预计，到2013年在互联网上流动的交通量将达到每年667艾字节。中国人口众多，互联网用户数在2013年已经超过5亿人，全球第一。海量的互联网用户创造了大规模的数据量。据预测到2015年全球有超过85%的财富500强企业将在大数据竞争中失去优势。我们认为这种发展趋势在国内同样不可避免，在未来的市场竞争中，能在第一时间从大量互联网数据中获取最有价值信息的企业才最具有优势。 当前，大部分中国企业在数据基础系统架构和数据分析方面都面临着诸多挑战。根据产业信息网调查，目前国内大部分企业的系统架构在应对大量数据时均有扩展性差、资源利用率低、应用部署复杂、运营成本高和高能耗等问题。国内企业为适应大数据时代而做出大规模调整是一种必