- 2
- 0
- 约小于1千字
- 约 27页
- 2018-11-09 发布于浙江
- 举报
大数据平台的设计与实现--川大学研究生答辩ppt
答 辩 人: 红军
专 业: ***
指导老师: ***
论文题目:大数据平台的设计与实现
目录
大数据
量大
5EB
40ZB
多样
结构
非机构
高速
产生
处理
真实性
质量
价值
国内
国外
农业大数据
政府
开放
技术
开源-收集
开源-存储
开源-计算
开源-工具
ambari
支持数据服务集群的供应、管理和监控。支持应用扩展。
Hive
是面向Hadoop生态系统的数据仓库。支持类SQL语言。
Oozie
管理调度Hadoop任务。
Mahout
基于MapReduce算法库,初步支持spark。
整体业务视图
平台
开发
平台维护
场景-工程师
合理分配资源
数据可管可查
算法被合理执行
简单实现可视化
异常问题可知
场景-用户
用户查看权限可被管理
查找数据关系描述
数据内容可被搜索
可以查看订阅数据图表
场景-系统
获取数据成果
输送数据
数据暂存
数据计算
17
设计-架构
设计-部署
设计-收集
应用-关系
应用-调度
应用-可视化
服务
业务系统
管理后台
可视引擎
Mysql集群、Redis集群
关键术语
业务系统、桌面、报表
总结
不足
不能实现一键平台整体部署;
操作复杂,学习门槛高;
存在一些bug待修改,存在功能不足待完善;
部分流程之前还存在断层;
成果
所有系统实现分布式并支持多机房部署;
完成收集、存储、计算、展现、管理的打通;
实现
原创力文档

文档评论(0)