大数据和ODPS材料.pptx

大数据与ODPS概述 主讲人：李权 1 . 什么是大数据？ 2 . 意义与价值？ 3 . 面对什么样的困难？ 4 . 怎样处理这些数据呢？ 5 . 什么是ODPS? 6 . 与传统数据仓库工具相比ODPS有那些优势？ 7 . ODPS有怎样的发展？  大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。 1 . 什么是大数据？ 最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。 意义:有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是成为赢得竞争的关键。大数据的价值体现在以下几个方面：1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销;2) 做小而美模式的中长尾企业可以利用大数据做服务转型;3) 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。 2 . 意义与价值？ 难关：数据大，更重要的是多样性、实时性、不确定性、关联性、异质性 ，如何从大数据中得到大价值才是关键所在。 3 . 面对什么样的困难？ 大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。 　　大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。 4 . 怎样处理这些数据呢？ 主要采用分布式 分布式计算是近年提出的一种新的计算方式。所谓分布式计算就是在两个或多个软件互相共享信息，这些软件既可以在同一台计算机上运行，也可以在通过网络连接起来的多台计算机上运行。分布式计算比起其它算法具有以下几个优点： 1、稀有资源可以共享。 2、通过分布式计算可以在多台计算机上平衡计算负载。 3、可以把程序放在最适合运行它的计算机上。 其中，共享稀有资源和平衡负载是计算机分布式计算的核心思想之一。 分布式系统的挑战 挑战：容灾 数据容灾是指建立一个异地的数据系统，为了保护数据安全和提高数据的持续可用性，企业要从RAID保护、冗余结构、数据备份、故障预警等多方面考虑，将数据库的必要文件复制到存储设备的过程，备份是系统中需要考虑的最重要的事项,虽然他们在系统的整个规划。 有人摔倒了... 分布式系统的挑战 挑战：异构带来的困难 异构数据是相关的多个数据的集合。 1、异构数据库系统是相关的多个数据库系统的集合，可以实现数据的共享和透明访问，每个数据库系统在加入异构数据库系统之前本身就已经存在，拥有自己的DBMS。 2、异构数据库的各个组成部分具有自身的自治性，实现数据共享的同时，每个数据库系统仍保有自己的应用特性、完整性控制和安全性控制。 身高，腿长，性别，运动机能 分布式系统的挑战 挑战：动态环境下的不确定性 草地不平整，地上有石头，也许天上还会下雨 分布式文件系统 HDFS: 为Hadoop平台提供底层存储支持，实现类似GFS MooseFS: 支持FUSE接口，相对轻量级，对Master服务器有单点依赖 Ceph: 高性能，无单点依赖，基于Butter FS（btrfs）性能可能更好 TFS: 适合海量小文件存储，兼顾可扩展性、可用性和性能 你需要解决什么问题？ 你的业务需求是什么，性能需求是什么？ 没有最优的技术，只有最优的选择！ 5 . 什么是ODPS? 阿里云开放数据处理服务(Open Data Processing Service，简称ODPS) 是构建在飞天系统上的大规模分布式数据处理服务。 ODPS以REST API的形式，支持用户提交类SQL的查询语言，对海量数据进行处理。在API之上，还提供SDK开发包和命令行工具，A上还有一个Web演示界面。 6 . 与传统数据仓库工具相比ODPS有那些优势？ 处理能力强大：客户都曾经购买使用过传统数据仓库技术解决方案，但是都无法适应剧烈膨胀的数据规模。 成本低廉，伸缩灵活：由于云计算的