大数据平台地设计与实现--四川大学研究生答辩ppt.pptxVIP

  • 0
  • 0
  • 约小于1千字
  • 约 27页
  • 2018-12-23 发布于江苏
  • 举报

大数据平台地设计与实现--四川大学研究生答辩ppt.pptx

大数据平台地设计与实现--四川大学研究生答辩ppt

答 辩 人: 红军 专 业: *** 指导老师: *** 论文题目:大数据平台的设计与实现 目录 大数据 量大 5EB 40ZB 多样 结构 非机构 高速 产生 处理 真实性 质量 价值 国内 国外 农业大数据 政府 开放 技术 开源-收集 开源-存储 开源-计算 开源-工具 ambari 支持数据服务集群的供应、管理和监控。支持应用扩展。 Hive 是面向Hadoop生态系统的数据仓库。支持类SQL语言。 Oozie 管理调度Hadoop任务。 Mahout 基于MapReduce算法库,初步支持spark。 整体业务视图 平台 开发 平台维护 场景-工程师 合理分配资源 数据可管可查 算法被合理执行 简单实现可视化 异常问题可知 场景-用户 用户查看权限可被管理 查找数据关系描述 数据内容可被搜索 可以查看订阅数据图表 场景-系统 获取数据成果 输送数据 数据暂存 数据计算 17 设计-架构 设计-部署 设计-收集 应用-关系 应用-调度 应用-可视化 服务 业务系统 管理后台 可视引擎 Mysql集群、Redis集群 关键术语 业务系统、桌面、报表 总结 不足 不能实现一键平台整体部署; 操作复杂,学习门槛高; 存在一些bug待修改,存在功能不足待完善; 部分流程之前还存在断层; 成果 所有系统实现分布式并支持多机房部署; 完成收集、存储、计算、展现、管理的打通; 实现

文档评论(0)

1亿VIP精品文档

相关文档