大数据时代的数据库.pptVIP

云计算核心技术 ——Hbase场景案列：浏览历史 * 第三十一页，共七十六页。 云计算的核心技术在现实应用 注意：下面实例大部分摘录于 2012年HADOOP与大数据技术大会 该会议举行时间 ：2012年11月30日-12月1日在北京 该会议权威级别： * 第三十二页，共七十六页。 ------应用之一 Hadoop in Telecom 云计算核心技术 载波的优化 用户的分割 瞬间查询3G用户数量的记录 * 第三十三页，共七十六页。 云计算核心技术 ------应用之二 Hadoop in SmartCity 罚单 信息流处理 * 第三十四页，共七十六页。 云计算核心技术 ------应用之三 阿里云“云梯”集群发展 淘宝的搜索引擎能够对数十亿的商品数据进行实时搜索，另外还拥有自主研发的文件存储系统 和缓存系统，以及 Java 中间件和消息中间件系统，这一切组成了一个庞大的电子商务操作系统。 * 第三十五页，共七十六页。 云计算核心技术 ------应用之三 阿里云“云梯”数据平台框架 * 第三十六页，共七十六页。 云计算核心技术 ------应用之三 百度数据仓库框架DW * 第三十七页，共七十六页。 云计算核心技术 HADOOP ------数据存入和抽取每小时移动数十TB的交易数 据、交互数据和流数据 * 全球领先的独立企业数据集成软件提供商 第三十八页，共七十六页。 云计算核心技术 ----应用五 大数据是云计算的两大核心内容之一 * 第三十九页，共七十六页。 云计算核心技术 ----应用五 大数据是云计算的两大核心内容之一 全世界权威IT咨询公司研究报告预测 KB，MB，GB、TB，PB、EB、ZB、YB、BB　 　 　 　 　1ZB=1.153*1018 KB * 第四十页，共七十六页。 一、大数据存储管理和索引查询问题 二、Hadoop性能优化问题 三、图数据并行计算模型和框架 四、并行化机器学习和数据挖掘算法 五、社会网络分析 六、排名和推荐 七、Web信息挖掘和检索 八、媒体分析检索 九、自然语言处理 十、大数据可视化计算与分析 云计算核心技术 当今数据热点研究的十个问题： ----数据分析发展趋势 系统层 基础算法 应用算法 应用技术 * 第四十一页，共七十六页。 Hadoop----发展形势 HADOOP * 第四十二页，共七十六页。 Berkeley BDAS平台 * 第四十三页，共七十六页。 NoSQL数据库 基础理论 CAP理论与一致性模型 数据存储模型与数据库 Key-value DB Column-oriented DB Document-oriented DB Graph DB … * 第四十四页，共七十六页。 CAP理论 强一致性（Consistency） 系统在执行某操作后仍处于一致的状态。 可用性（Availability） 每一个操作能够在一定时间内返回结果，如果超时则被认为不可用。 分区容错性（Partition tolerance） 在网络分区（被划分成孤立的区域）的情况下仍可接受请求。 */101 第四十五页，共七十六页。 多副本数据一致性模型 强一致性 无论更新在哪个副本上进行，之后的所有操作都能获得更新的数据。 弱一致性 用户读到某一操作对系统的更新需要一段时间 最终一致性 保证用户最终能够读到某一操作对系统的更新 */101 第四十六页，共七十六页。 * 第四十七页，共七十六页。 应用场景：内容缓存，主要用于处理大量数据的高访问负载，也用于一些日志系统。 优点：查找迅速 缺点：数据无结构，通常只被当做字符串或二进制数据 * 第四十八页，共七十六页。 Java实现的开源key-value数据库 特征 数据自动冗余备份于多个结点上 数据分区存储 单点故障对整个系统透明 支持复杂数据类型的序列化 将数据项进行版本化，出现故障时最大限度保证数据的完整性 * 第四十九页，共七十六页。 开源项目，源代码采用了Apache2.0的使用许可 特征 自动将在线数据迁移到低延迟的存储介质的技术（内存，固态硬盘，磁盘） 可选的写操作一一异步，同步（基于复制，持久化） 多线程低锁争用 尽可能使用异步处理 自动实现重复数据删除 动态再平衡现有集群 通过把数据复制到多个集群单元和支持快速失败转移来提供系统的高可用性。 * 第五十页，共七十六页。 * 第五十一页，共七十六页。 应用场景：分布式文件系统 优点：查找迅速，可扩展性强，更容易进行分布式扩展 缺点：功能相对有限 * 第五十二页，共七十六页。 * 第五十三页，共七十六页。 * 第五十四页，共七十六页。 最初由Faceboo