大数据概念、技术、特点、应用与案例.docxVIP

PAGE 1 PAGE 1 大数据概念、技术、特点、应用与案例  从所周知，大数据已经不简简洁单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取许多智能的，深入的，有价值的信息。  　　一、大数据概念  　　大数据是一个体量特殊大，数据类别特殊大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。大数据首先是指数据体量(volumes)?大，指代大型数据集，一般在10TB?规模左右，但在实际应用中，许多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量特别浩大的状况下，也能够做到数据的实时处理。最终一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。  　　大数据是需要新处理模式才能具有更强的决策力、洞察发觉力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，大数据指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。亚马逊网络服务（AWS）、大数据科学家JohnRauser提到一个简洁的定义：大数据就是任何超过了一台计算机处理能力的浩大数据量。研发小组对大数据的定义：大数据是最大的宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。Kelly说：大数据是可能不包含全部的信息，但我觉得大部分是正确的。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。当你的技术达到极限时，也就是数据的极限。大数据不是关于如何定义，最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用状况如何。这与传统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。  　　二、大数据分析  　　从所周知，大数据已经不简简洁单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取许多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是打算最终信息是否有价值的打算性因素。基于如此的熟悉，大数据分析普遍存在的方法理论有哪些呢？  　　1、可视化分析  　　大数据分析的使用者有大数据分析专家，同时还有平凡用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够特别简单被读者所接受，就犹如看图说话一样简洁明白  　　2、数据挖掘算法  　　大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，假如一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。  　　3、预估性分析能力  　　大数据分析最终要的应用领域之一就是预估性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预估将来的数据。  　　4、数据质量和数据管理  　　大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有许多许多更加有特点的、更加深入的、更加专业的大数据分析方法。  　　三、大数据技术  　　1、数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最终加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。  　　2、数据存取：关系数据库、NOSQL、SQL等。  　　3、基础架构：云存储、分布式文件存储等。  　　4、数据处理：自然语言处理(NLP，NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理