大数据技术交流描述.ppt

YOUR SITE HERE 流计算产品： 1.Yahoo的S4： S4是一个通用的、分布式的、可扩展的、分区容错的、可插拔的流式系统，Yahoo！开发S4系统，主要是为了解决：搜索广告的展现、处理用户的点击反馈。 2. Twitter的storm Twitter的storm：Storm是一个分布式的、容错的实时计算系统 Storm用途：可用于处理消息和更新数据库（流处理），在数据流上进行持续查询，并以流的形式返回结果到客户端（持续计算），并行化一个类似实时查询的热点查询（分布式的RPC）。 3.streamBase YOUR SITE HERE Items\Projects Yahoo! s4 Twitter Storm 协议 Apache license 2.0 Eclipse Public License 1.0 开发语言 Java Clojure,Java,Clojure编写了核心代码 结构 去中心化的对等结构 有中心节点nimbus，但非关键 通信 可插拔的通讯层，目前是基于UDP的实现 基于facebook开源的thrift框架 事件/Stream K,A序列，用户可自定义事件类 提供Tuple类，用户不可自定义事件类， 但是可以命名field和注册序列化器 处理单元 Processing Elements，内置PE处理 Bolt，没有内置任务，提供IBasicBolt处理 count,join和aggregate等常见任务 自动ack 第三方交互 提供API,Client Adapter/Driver，第三方客户端输入或者输出事件 定义Spout用于产生Stream，没有标准输出API 持久化 提供Persist API规范，可根据频率或者次数做持久化 无特定API，用户可自行选择处理 可靠处理 无，可能会丢失事件 提供对事件处理的可靠保证（可选） 多语言支持 暂时只支持Java 多语言支持良好，本身支持Java,Clojure， 其他非JVM语言通过thrift和进程间通讯 Failover 部分支持，数据无法failover 部分支持，数据同样无法failover Load Balance 不支持 不支持 并行处理 取决于节点数目，不可调节 可配置worker和task数目，storm会尽量将worker和task均匀分布 动态增删节点 不支持 支持 动态部署 不支持 支持 web管理 不支持 支持 代码成熟度 半成品 成熟 活跃度 低 活跃 编程 编程 + XML配置 纯编程 YOUR SITE HERE 目录 1.大数据技术介绍 2.Hadoop(HDFS,MapReduce)介绍 3.Hadoop的最新发展 4.流计算技术 5.内存数据库 6.列式数据库 7.各技术适用的场合 8.讨论 YOUR SITE HERE 内存数据库：大数据时代数据管理新宠 内存数据库，顾名思义就是将数据放在内存中直接操作的数据库。相对于磁盘，内存的数据读写速度要高出几个数量级，将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。同时，内存数据库抛弃了磁盘数据管理的传统方式，基于全部数据都在内存中重新设计了体系结构，并且在数据缓存、快速算法、并行操作方面也进行了相应的改进，所以数据处理速度比传统数据库的数据处理速度要快很多，一般都在10倍以上。内存数据库的最大特点是其“主拷贝”或“工作版本”常驻内存，即活动事务只与实时内存数据库的内存拷贝打交道。 YOUR SITE HERE 主流内存数据库产品1 　　·Oracle TimesTen 　　Oracle TimesTen是Oracle从TimesTen公司收购的一个内存优化的关系数据库，它为应用程序提供了实时企业和行业(例如电信、资本市场和国防)所需的即时响应性和非常高的吞吐量。Oracle TimesTen可作为高速缓存或嵌入式数据库被部署在应用程序层中，它利用标准的 SQL 接口对完全位于物理内存中的数据存储区进行操作。 　　·IBM SolidDB 　　IBM SolidDB是一款数据管理平台，该平台将基于内存和磁盘的全事务处理数据库引擎、载体级高，可用性及强大的数据复制功能紧密地融为一体。SolidDB集基于内存和磁盘的多线程数据库引擎于一身，以提高事务处理速度并在同一数据库内最有效地利用系统资源。SolidDB管理平台的设计可以无缝融合到需要高速、灵活以及需要不间断访问的数据管理技术解决方案中。用户既可以把表建在内存内，也可以象普通数据库一样建在磁盘上，使用非常灵活，而且具备完善的数据保护机制。 YOUR SITE HERE 主流内存数据库产品2 　·eXtremeDB 　　eXtremeDB实时数据库是McObject公司的一款特