00-大数据基础知识试卷.pptxVIP

FusionInsight HD培训材料大数据基础知识 大数据概念与hadoop简介 1 大数据行业应用 2 大数据架构简介 3 20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data 2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念 Big Data名词由来 大数据市场趋向稳定 大量数据存储 海量计算 大量数据管理 数据分析 大数据定义-不同的声音 维基百科：“大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合” IDC：一般会涉及2种以上数据形式，数据量100T以上，且是高速、实时数据流；或者从小数据开始，但数据每年增长60% Gartner：大数据的四个V：Volume、Variety、Velocity、Value 另外IBM有大数据5V特征定义，增加了一个Veracity（真实性） 什么是大数据 全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年… 每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年… 推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年… 每天亚马逊上将产生 6.3 百万笔订单… 每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB… Google 上每天需要处理24PB 的数据… 在web 2.0的时代，人们从信息的被动接受者变成了主动创造者 海量数据从哪里来－人 海量数据从哪里来－机器 Boeing：飞机每个引擎3分钟产生1TB数据，波音787 6小时飞行产生240TB数据 CERN：大型强子对撞产生1PB/s的数据 SKA：2015年存储需要1EB 云化IDC建设 催生了数据大集中 Facebook：每天产生50TB的日志数据，衍生分析数据超过100TB “机器制造”和“人工制造”共同贡献了海量数据，集中式的数据中心建设加速数据集中 大数据的结构特征 平均1个P数据中 非结构化为主 （例 互联网公司） 互联网： Google, 百度 Facebook , Twitter ,新浪…. 数据以非结构化处理为主 在企业大数据中， 仍然是以结构化数据处理为主 结构化 半结构化 非结构化 ~ 23% ~5 % ~10 % 传统的数据处理系统面临的问题，呼唤新的技术 海量数据的高存储成本 大数据量下的数据处理性能不足 流式数据处理缺失 有限的扩展能力 单一数据源 数据资产对外增值 数据扩展性需求和硬件性能之间存在差距 新的业务需求，需要新的大数据处理平台 数据处理技术分布式演进趋势：Hadoop成为开放的事实标准 SMP Hadoop 特点：集群、Share Everything 结构化、关系型 Flash Cache+分布式块存储+IB SMP+MPP混合 MPP 特点：集群、Share Nothing 开放,、全球生态 结构化、半结构化、非结构化 高性能、实时 特点：集群、Share Nothing 结构化、关系型 通用的硬件 特点：单机、Scale up 性能存在瓶颈 扩展性差 揭开Hadoop神秘的面纱 Hadoop是Apache基金会的一个项目总称，主要由HDFS、MapReduce和HBase等组成。 HDFS是对Google GFS的开源实现，MapReduce是对Google MapReduce的开源实现，HBase是Google BigTable的开源实现。 Hadoop 来源于其创始人Doug Cutting的儿子给一头黄色大象取的名字。 Hadoop最初只与网页索引有关，迅速发展成为分析大数据的领先平台。 HDFS原理简介－分布式文件系统 HBase原理简介－分布式数据库 HRegionServer内部管理了一系列HRegion对象，每个HRegion对应Table中的一个Region。HRegion由多个Store组成。每个Store对应Table中的一个Column Family的存储，即一个Store管理一个Region上的一个列族（CF）。每个Store包含一个MemStore和0到多个StoreFile。Store是HBase的存储核心，由MemStore 和 StoreFile组成。 MapReduce原理简介－分布式计算架构 Apache MapReduce是google MapReduce的开源实现。是对并行计算的封装，使用户通过一些简单的逻辑即可完成复杂的并行计算。其核心理念是将一个大的运算任务分解到集群每个节点上，充分运用集群资源，缩短运行