大数据技术的初步认识.docVIP

大数据技术调研 大数据研发小组 苏林东 2017/05 北京应用物理与计算数学研究所，大数据联合实验室，2017  目录 ? 什么是大数据技术？ ? 大数据技术发展历程 ? 大数据生命周期 ? 大数据技术生态 ? 大数据技术应用 2  什么是大数据技术？ ● 大数据技术 —— 在巨量的数据资源中提取到有价值的数 据加以分析和处理 o 基础架构支持 o 数据采集 o 数据存储 o 数据计算 o 数据展现与交互 3  发展历程 上世纪90年代至 本世纪初 2003 – 2006年 ?突破期 ?围绕非结构化 数据自由探索 2006 – 2009年 ?成熟期 ?并行运算和分 布式系统 2010年以后 ?萌芽期 ?数据挖掘 ?数据仓库、专 家系统、知识 管理系统 ?改变世界格局 的技术的基石 ?各行业颠覆性 创新的源动力 和助推器 ?Facebook创立， 社交网络流行 ?云计算、 MapReduce、 Hadoop ?引爆大数据时 代的两大事件 ? Google的三篇论文 —— GFS（2003）、MapReduce（2004）、BigTable（2006） ? 2005年，Yahoo工程师 Doug Cutting和 Mike Cafarella合作开发了 Hadoop。 4  大数据技术栈 应用和服务（包括数据服务） 编 程 和 管 理 工 具 可视化 数据分析 数 据 安 全 计算处理 数据存储和管理 硬件平台：计算、存储和互联 5  大数据技术生态 6  7  大数据的技术基础 ● Google分布式计算模型 i. MapReduce —— 分布式计算框架 ii. GFS (Google File System) —— 分布式文件系统 iii. BigTable —— 基于GFS的数据存储系统 o 简化传统分布式理论，降低技术实现难度 o 应用成本十分低廉 o 没有开源其技术实现 8  开源生态圈 9  开源生态圈 NoSQL 数据库 数据存储 批处理 即席查询 流计算 资源调度其他组件 ZooKeeper YARN MapReduce Spark Pig HBase Storm Mahout HDFS Hive Echarts Cassandra、 MongoDB Spark Streaming Mesos Impala、 Presto、 Drill Tez … 10  主流分布式系统：Hadoop ● Hadoop —— 批处理系统 起源：GFS→HDFS，Google MapReduce→Hadoop MapReduce，BigTable→HBase o 适合大数据的分布式存储和计算平台 HDFS负责海量数据的分布式存储 MapReduce负责对数据的计算结果汇总 o 数据管理系统 o 大规模并行处理框架 o 开源社区 18  主流分布式系统：Hadoop ? HDFS ? HDFS ? Federation：多个 NameNode分管不同的 目录 ? 一个NameNode和多个 DataNode ? MapReduce 1.0 ? 编程模型 + 运行时环境 ? 一个JobTracker和多个 TaskTracker ? MapReduce 2.0 ? 编程模型 + 运行在 YARN之上 ? JobTracker负责资源管 理和所有作业的控制； TaskTracker负责接收 来自JobTracker的命令 并执行 ? YARN ? ResourceManager、 ApplicationMaster与 NodeManager替代 JobTracker和 TaskTracker 19  主流分布式系统：Hadoop 扩容能力（Scalable）只适用于离线数据的 成本低（Economical）处理 平台改进后与各种新 的计算模式和系统并 存、融合 高效率（Efficient） 可靠性（Rellable） 开源（Open Source） 20  主流分布式系统：Storm ● Storm —— 流处理系统 o 分布式的、容错的实时计算系统， 流处理平台 o 可用于“连续计算”、“分布式RPC” 编程模型简单，显 著地降低了进行实 时处理的难度 无法进行批处理 不能保证消息的处 理顺序（Core o 在Hadoop的基础上提供了实时运算 的特性 有一个低达毫秒级 Storm） 的延迟 互操作性 o 不进行数据的收集和存储工作 21  主流分布式系统：Spark ●