大数据汇报4.ppt

大数据学习 汇报内容 大数据能做什么？ 如何处理大数据？ 几点思考 1 2 3 3 一、大数据能做什么？ 大数据应用体现在两大方面：实践与科研 “人类的理性是有限的，因此所有的决策都是基于有限理性的结果。如果能利用存储在计算机里的信息来辅助决策，人类理性的范围将会扩大，决策的质量就能提高。”（西蒙-1947） 实践：利用大数据进行分析预测判断，辅助决策，进行精准营销、生产、服务、干预等。 实践领域 广告大师约翰·沃纳梅克曾说过,“我知道我的广告费有一半是浪费的，但我不知道浪费的是哪一半,这句至理名言堪称广告营销界的哥德巴赫猜想。 实践领域 随着大数据技术的应用和营销精准化程度的提高，浪费的广告费正在不断减少。 科研领域 科研：科学研究的第四范式——“数据密集型科学研究”正兴起（《第四范式：数据密集型科学发现》）。 以数据为中心来思考、设计和实施科学研究，科学发现依赖于对海量数据的收集和分析处理。 数据密集型学科：天文信息学、生物信息学、计算社会学、计算广告学等。 数据密集型科学研究范式的思路：从大量数据中探寻一些“不知道自己不知道”的规则/规律/模式?进行理论上的解释或进一步验证。 大数据能做很多在小数据基础上无法做的研究工作，如分析研究更复杂的系统（社会系统、生态系统等），进行更深入的研究。 在大数据的推动下，“社会科学正脱下‘准科学’的外衣，全面迈进科学的殿堂。” 二、如何处理大数据 1、平台建设——自建还是租用 （1）自建——Hadoop（海杜普） 单台计算机的处理能力是有限的，因此，为了能够处理大数据，需要在计算机集群上搭建分布式计算平台。 目前最流行的开源分布式计算系统是Hadoop，Hadoop是用Java写的软件，提供一个可靠的分布式存储和分析的系统，HDFS提供存储，MapReduce提供分析，这两者是Hadoop的核心，内建于Hadoop软件中。将数据处理任务拆分到大量的独立机器上执行。 此外，还有HBase、Hive、Pig等，连同Hadoop本身一起构成了一个丰富的生态系统。 Spark是Hadoop的竞争者。 （2）租用-云计算 云计算是基于网络平台为用户提供的数据存储和分析计算服务。 存储与计算能力可以作为一种商品通过互联网进行流通，就像煤气、水及电一样，使用方便、费用低廉。 完整的云计算涵盖云计算平台（如采用Hadoop技术搭建的）和云计算服务模式（永远在线、随时访问、按需获取）这两个概念。 租用云计算可以帮助我们避免搭建基础设施，让我们集中精力分析专业数据，而非购买和维护我们自己的硬件、雇用系统管理员，或顾虑备份或电力等事情。 但网络带宽会影响到云计算的性能，为了能使用云系统处理大量的内部数据，这些数据就需要通过互联网相对较小的带宽来传输。当然，也存在数据安全问题。 2、数据存储与管理——NoSQL 存储大量结构化数据一般采用关系型数据库（Mircrosoft SQL server、Oracle 和开源的MySQL数据库等 ）。 对于非结构化资料主要采用NoSQL数据库来存储和管理。不使用SQL作为自己的查询语言。 新的NewSQL类型的数据库试图将NoSQL数据库的特性与关系数据库的一致性融合起来。 现有数据库软件众多，不同的数据库适用不同的内容，要根据数据的特征和用途来选择。 3、数据分析与挖掘 大数据价值密度低，需要对其进行数据挖掘。 数据挖掘是指从大量的数据中提取隐含在其中的、人们事先不知道的，但又是潜在有用信息和知识的过程。 数据挖掘并不是一门崭新的学科，而是综合了统计分析、机器学习、数据库等多方面成果的应用学科。 常见的数据挖掘分为四大类： 在传统方式下的数据挖掘算法大多工作在单机系统上，无法高效实现大数据的挖掘。 在大数据时代，分布式平台逐渐成为主流，如何将经典的数据挖掘算法移植到分布式环境下运行，成为了大数据挖掘必须解决的问题。 数据挖掘软件：商用和开源 商用的包括： IBM的SPSS Modeler：2012年REX Analytics分析公司做的调研表明SPSS Modeler是目前被使用频率最高的数据挖掘工具。 SAS Enterprise Miner：简称为SAS EM，是一种在中国的大型企业及政府机关中得到广泛应用的数据挖掘工具。 开源的： R（统计学家最常用的软件）：在R的开源社区，最先进的统计方法和数据挖掘算法都能很快在R上找到相关程序包，而且都是免费开源的。 R语言接口多，通过程序包rpy2、rjava很好地和python、java互相调用，进行混合编程。 R在数据可视化上的应用很有潜力，如程序包ggplot2。 数据挖掘的包，CORElearn、e1071、tm、nnet、RSNNS等。 在大数据处理上面，有Rhadoo