132大数据时代的数据库75.pptxVIP

大数据时代的数据库云计算概念提出1Hadoop的发展历史2Hadoop的核心技术MapReduce3Hadoop核心技术数据库Hbase4其它NoSQL数据库5大数据特性4V特性Volume（数据量大）Variety（种类多）Value（价值密度低，商业价值高Velocity（处理速度快）对传统数据库的挑战用一个实例来理解云计算云计算所需解决的问题 ——假设某家企业开发一个旅游网站45购买应用服务器来部署这个网站运行期间，企业需要雇佣专门人员负责服务器和网络的维护，定期备份数据等日常工作购买数据库服务器来部署后台数据库231数据量开发人员部署代码，上传数据库结构和数据，并进行必要的测试，之后运维人员开通网站配置网站的域名等工作云计算所需解决的问题 ——假设某家企业开发一个旅游网站企业需要待解决的问题效益1、购买新的服务器2、增加更多的运维成员怎样解决这个问题呢？3、购买和安装设备都是需要时间的，可能在此期间整个网站出现响应减慢，经常出错、导致大量的客户流失4、淡季的时候，访问量低，刚购买的服务器又成为资源的浪费成本云计算所需解决的问题 ——假设某家企业开发一个旅游网站 引入云计算，它可以从根本上解决这个问题，因为云计算是通过互联网将共享的硬件软件资源按需提供给使用者，所有的设备都是由云计算服务商维护，这样无论是专业的软件开发商，还是最终的客服，都可以将全部精力集中于业务领域，而无须考虑硬件维护、容灾等运维问题，无形之中也为企业节省了成本、提高了经济效益…………何为云计算？（理解1） 云计算，其实就是把所有的计算应用和信息资源都用互联网连接起来，供个人和企业用户随时访问、分享、管理和使用，相关的资源可以通过全球任何一个服务器和数据中心来提取的技术。何为云计算？（理解2） 是通过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再由多部服务器所组成的庞大系统搜索、计算分析之后将处理结果回传给用户。通过这项技术，远程的服务供应商可以在数秒之内，达成处理数以千万计甚至亿计的信息，达到和“超级电脑”同样强大性能的网络服务。1998网络计算发展趋势网格计算1995原理：任务并行对等计算1999集群计算原理：数据并行原理：指令层次的并行云计算2007原理：位层次的并行（可处理长字节）2012网格技术：主要解决分布在不同机构的各种信息资源的共享问题云计算：主要解决计算力和存储空间的集中共享使用问题。云格(Gloud=Grid+Cloud)为什么云计算如此流行特别是NoSQL---非关系型数据库那么云计算数据库是怎样提出的呢？1、关系数据库高并发读写速度慢2、关系数据库支撑容量有限------类似 Facebook、Twitter这样的SNS网站， 用户每天产生海量的用户动态，每月 会产生几亿条用户动态，对于关系型 数据库来说，在一张数亿条记录的表 里面进行SQL查询，效率是极其低下 乃至不可忍受的。3、关系数据库扩展性差4、数据日趋庞大，无论是入库和查询， 都出现性能瓶颈 5、用户的应用和分析结果呈整合趋势， 对实时性和响应时间要求越来越高 Nosql数据量关系数据库与Hadoop分布式系统的比较————为何云计算数据采用Hadoop分布式系统云计算的核心技术云计算提出——hadoop思想用很多小型PC机来代替大型服务器云计算核心技术——hadoop子项目家族 Chukwa在Hadoop之上的数据采集与分析框架 、主要进行日志采集和分析 Pig可以看做hadoop的客户端软件，可以连接到hadoop集群进行数据分析工作 数据仓库工具，可以看成是从SQL到Map-Reduce的映射器 Zoo Keeper用于协调分布式系统上的各种服务，应用场景、实现Namenode自动切换 Avro数据序列化工具,用于支持大批量数据交换的应用。支持二进制序列化方式，可以便捷，快速地处理大量数据 云计算核心技术——英特尔hadoop发行版组件SQL-to-HDFS工具，利用jdbc连接关系形数据库如连接Oracle要安装：ojdbc6.jar如连接My-Sql要安装：mysql-connector云计算核心技术——hadoop的发展历史2004年，Google发表论文，向全世界介绍了MapReduce。 2005年初，为了支持Nutch搜索引擎项目，Nutch的开发者基于Google发布的MapReduce报告，在Nutch上开发了一个可工作的MapReduce应用。 2006年1月，Doug Cutting加入雅虎，Yahoo!提供一个专门的团队和资源将Hadoop发展成一个可在网络上运行的系统。 2007年，百度开始使用Hadoop做离线处理，目前差不多80%的Hadoop集群用作日志处理。 2007年，中国移动开始在“大云”研究中使用Hadoo