大数据分析4.docVIP

大数据分析 　　大数据分析 　　大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V ， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、真实性(Veracity)。大数据作为时下最火热的IT 行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。 　　目录 　　1 大数据分析与2014巴西世界杯 　　2 分析步骤 　　3 工具介绍 　　4 发展状况 　　5 应用案例 　　大数据分析与2014巴西世界杯 　　2014巴西世界杯于7月14日凌晨落下帷幕，德国战车1:0战胜阿根廷，第四次捧起大力神杯。 　　与往届世界杯不同的是：数据分析 成为巴西世界杯赛事外的精彩看点。伴随赛场上球员的奋力角逐，大数据也在全力演绎世界杯背后的分析故事。一向以严谨著称的德国队引入专门处理大数据的足球解决方案，进行比赛数据分析，优化球队配置，并通过分析对手数据找到比赛的“制敌”方式；谷歌、微软、Opta 等通过大数据分析预测赛果...... 大数据，不仅成为赛场上的“第12人”，也在某种程度上充当了世界杯的 预言帝 。 　　大数据分析邂逅世界杯，是大数据时代的必然发生，而大数据分析也将在未来改变我们生活的方方面面。 　　分析步骤 　　大数据分析的五个基本方面 　　　　1. Analytic Visualizations（可视化分析） 　　不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。 　　2. Data Mining Algorithms（数据挖掘算法） 　　可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。 　　3. Predictive Analytic Capabilities（预测性分析能力） 　　数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。 　　4. Semantic Engines（语义引擎） 　　我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。 　　5. Data Quality and Master Data Management（数据质量和数据管理） 　　数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。 　　假如大数据真的是下一个重要的技术革新的话，我们最好把精力关注在大数据能给我们带来的好处，而不仅仅是挑战。 　　工具介绍 　　数据仓库有 　　Teradata AsterData, EMC GreenPlum, HP Vertica 等等。 　　　　数据集市有 　　QlikView 、 Tableau 、 Yonghong Data Mart 等等。 　　Yonghong Data Mart 是基于自有技术研发的一款数据存储、数据处理的软件。针对客户需要处理需求数据的量级不同，IT 系统架构的不同和存储系统的不同，提供了两种解决方案供客户选择一种本地模式，一种是MPP 模式。当需要处理的数据量级别处于TB 级以下，或者采用普通存储结构，或者单机已经足够满足性能需求，建议用户选择本地模式。当面对异构数据库存储系统，需要处理的数量级别在TB 级和PB 级以上，或者IT 系统和存储系统采用分布式，或者需要MPP 模式才能满足性能需求，基于分布式架构的并行处理模式更适合客户的需求。 　　Yonghong Data Mart底层技术： 　　1. 分布式计算 　　2. 分布式通信 　　3. 内存计算 　　4. 列存储 　　5. 库内计算 　　前端展现 　　用于展现分析的前端开源工具有JasperSoft ，Pentaho, Spagobi, Openi, Birt等等。 　　用于展现分析商用分析工具有Cognos, BO, Microsoft, 　　Oracle,Microstrategy,QlikView 、 Tableau 、 国内永洪科技 Yonghong Z-Suite 等等。 　　发展状况 　　开源大数据 　　1. Hadoop HDFS、Hadoop MapReduce, HBase、Hive 渐次诞生，早期Hadoop 生态圈逐步形成。 　　2. Hypertable是另类。它存在于Hadoop 生态圈之外，但也曾经有一些用户。 一体机数据仓库