132大数据时代的数据库75 .pptxVIP

大数据时代的数据库;;3;大数据特性;用一个实例来理解云计算;;云计算所需解决的问题 ——假设某家企业开发一个旅游网站 ;云计算所需解决的问题 ——假设某家企业开发一个旅游网站 ;何为云计算？（理解1）;何为云计算？（理解2）;网络计算发展趋势;为什么云计算如此流行;那么云计算数据库是怎样提出的呢？;关系数据库与Hadoop分布式系统的比较;云计算的核心技术;云计算提出——hadoop思想;云计算核心技术;云计算核心技术;云计算核心技术;云计算核心技术;Hadoop框架;——分布式文件系统(HDFS)/MapReduce原理;云计算核心技术;Example: Counting Words;云计算核心技术;——Hbase逻辑模型;——Hbase物理模型;云计算核心技术;1、对应每次数据操作的时间，可由系统自动生成，也可以由用户显式的赋值 2、Hbase支持两种数据版本回收方式： A、 每个数据单元，只存储指定个数的最新版本 B、保存指定时间长度的版本（例如7天） 3、常见的客户端时间查询：“某个时刻起的最新数据”或“给我全部版本的数据” 。 ;云计算核心技术;云计算核心技术;云计算的核心技术在现实应用;------应用之一 Hadoop in Telecom ;云计算核心技术;云计算核心技术;云计算核心技术;云计算核心技术;云计算核心技术;云计算核心技术;云计算核心技术;一、大数据存储管理和索引查询问题 二、Hadoop性能优化问题 三、图数据并行计算模型和框架 四、并行化机器学习和数据挖掘算法 五、社会网络分析 六、排名和推荐 七、Web信息挖掘和检索 八、媒体分析检索 九、自然语言处理 十、大数据可视化计算与分析 ;Hadoop----发展形势;Berkeley BDAS平台;NoSQL数据库;CAP理论;多副本数据一致性模型;47;应用场景：内容缓存，主要用于处理大量数据的高访问负载，也用于一些日志系统。 优点：查找迅速 缺点：数据无结构，通常只被当做字符串或二进制数据;Java实现的开源key-value数据库 特征 数据自动冗余备份于多个结点上 数据分区存储 单点故障对整个系统透明 支持复杂数据类型的序列化 将数据项进行版本化，出现故障时最大限度保证数据的??整性;开源项目，源代码采用了Apache2.0的使用许可 特征 自动将在线数据迁移到低延迟的存储介质的技术（内存，固态硬盘，磁盘） 可选的写操作一一异步，同步（基于复制，持久化） 多线程低锁争用 尽可能使用异步处理 自动实现重复数据删除 动态再平衡现有集群 通过把数据复制到多个集群单元和支持快速失败转移来提供系统的高可用性。;51;应用场景：分布式文件系统 优点：查找迅速，可扩展性强，更容易进行分布式扩展 缺点：功能相对有限;53;54;最初由Facebook开发，用于储存收件箱等简单格式数据，集GoogleBigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身 Facebook于2008将 Cassandra 开源，此后，由于Cassandra良好的可扩放性，被Digg、Twitter等知名Web 2.0网站所采纳，成为了一种流行的分布式结构化数据存储方案。 主要特征： 模式灵活:使用Cassandra，像文档存储，你不必提前解决记录中的字段。 真正的可扩展性: Cassandra是纯粹意义上的水平扩展。为给集群添加更多容量，可以指向另一台电脑。你不必重启任何进程，改变应用查询，或手动迁移任何数据。 分布式写操作: 有可以在任何地方任何时间集中读或写任何数据。并且不会有任何单点失败。 列表数据结构: 在混合模式可以将超级列添加到5维。对于每个用户的索引，这是非常方便的。;应用场景：web应用等 优点：数据要求不严格，不需要预先定义结构 缺点：查询能力不高，缺乏统一的查询语法;可以通过 JavaScript Object Notation (JSON) API 访问 “Couch” = “Cluster Of Unreliable Commodity Hardware” ，目标具有高度可伸缩性，提供了高可用性和高可靠性，即使运行在容易出现故障的硬件上也是如此 特点 CouchDB是分布式的数据库，他可以把存储系统分布到n台物理的节点上面，并且很好的协调和同步节点之间的数据读写一致性 CouchDB是面向文档的数据库，存储半结构化的数据 CouchDB支持REST API，可以让用户使用JavaScr