大数据解决方案及产品课件.pptxVIP

VoltDB 高频大数据解决方案 信域 和数据 个性化 广告 能源与感器域 智能网/表，， 交通与地理位置 券市 控管理，市数据管理 基础设施 数据管道，批次-，流媒体的 ETL 系统中的高频数据 S mart Meter 高度切 2 合领域 更快: 读/写 负载 延时/吞吐量 TPS每秒事物理量 Avg. Latency (ms) 0 50000 100000 150000 200000 250000 300000 350000 2 1 0 3 4 9 8 7 6 5 VoltDB 3.0 Key/Value Various read/write workload 3 Node, K=1 (high available) Cluster 10% read/90% write 50% read/50% write 90% read/10% write 3 电信呼叫数据记录管理 网站数据分析、欺诈侦测 在线游戏小额交易支付 电子广告兑换服务 基于位置的无线服务 金融贸易监控 低频率运行 高频率运行 数据来源 资金市场 4 写/索引所有交易，存储逐笔交易资料 显示整合交易者的风险 呼叫初始请求 实时授权认可 欺诈侦测分析 入站 HTTP 请求 访问者登陆、分析、警告 流量图形分析 在线游戏 等级分数 定义的间隔执行 玩家 “最好成绩” 排行榜状态查找 实时广告交易系统 匹配形式因素，下单规范，竞价/询价 报告广告效能 无线设备位置感应器 位置更新，服务品质，事物处理 事物处理上的数据分析 VoltDB 应用案例 5 VoltDB应用/方案的高吻合目标行业 行业 电信和网络 金融服务 广告科技 能源和应用 资本市场 电子商务 / 零售业 在线游戏 以上绝不是仅有的行业！ 其它行业种类 战略性大数据项目 早期使用者 感应器驱动的环境 6 关键技术特性 ACID全事务支持 灵活的扩展性 错误恢复 可持久化到硬盘 内嵌OLAP 导出连接器 基于网络的异步集群复制 关键特性: 线性扩展 增加一个新结点到VoltDB集群可以有限提升集群的最大吞吐量，也可以增加整个集群的内存容量 集群的大小对应用来说是透明的 7 关键特性: 线性扩展（续） 右边表格源自于独立的测试机构Percona，标示出线性扩展到每秒150万次的运算和最高推断值达到30个服务器。这个表也表明VoltDB线性扩展具备K-Safety 8 关键特性: 内置异常恢复/HA功能 分区就是复制的单位 事务复制操作（不是更改记录）使用 Active/Active 同步复制方式 应用只有在所有复制节点都提交（或者回滚）后才会收到成功（或者失败）的响应 9 关键特性: 基于网络的数据库集群复制 VoltDB包括一个网络复制Agent 这个Agent将事物异步从主集群（可读可写）复制到备集群（只读） 异步的方式最大限度容忍网络可能出现的问题 10 整合：高性能导出 并行导出 – 接近最大线速 基于事先建立的连接 Hadoop CSV JDBC (PostgreSQL, MySQL, Oracle) Netezza Vertica VoltDB 建立了一个基于事务的，可持久化的导出框架 11 在VoltDB完成高质量、实时分析、实时响应，并把结果数据通过VoltDB Export导出到OLAP VoltDB管理和监控 Nagios 脚本 Logs to Log4j JMX VoltDB 企业管理器 每一个节点都有一个内置网络服务器 特殊的系统程序 12 VoltDB的一个典型架构 Orders CRM ERP HR Cart Recom- mendation Click Stream Inv Personal- ization User Mgt. Data warehouse Hadoop Traditional OLTP Velocity OLTP logins impressions orders sensors authorizations clicks trades Interactive 13 Real-time Analytics Historical Analytics Exploratory Analytics Analytic results enrich decision making 14 使用方案中会包含VoltDB的目标客户 理想的销售机会Ideal Prospect Characteristics 初期采用者 高速率-增长中的交易处理率 寻求竞争差异 事务处理 – 需要做出决策 创建新的apps 数据吞吐量用尽 水平分区Sharding – 目前使用手工操作 其次 寻求削减成本- 准备使用云端 ACID – 不能做到最终一致性就无法生存 次要销售机会 对风险抱保守的