大数据平台地方案与实现--四川大学研究生答辩ppt.pptxVIP

答 辩 人: 红军 专 业: *** 指导老师: *** 论文题目：大数据平台的设计与实现 目录 大数据 量大 5EB 40ZB 多样 结构 非机构 高速 产生 处理 真实性 质量 价值 国内 国外 农业大数据 政府 开放 技术 开源-收集 开源-存储 开源-计算 开源-工具 ambari 支持数据服务集群的供应、管理和监控。支持应用扩展。 Hive 是面向Hadoop生态系统的数据仓库。支持类SQL语言。 Oozie 管理调度Hadoop任务。 Mahout 基于MapReduce算法库，初步支持spark。 整体业务视图 平台 开发 平台维护 场景-工程师 合理分配资源 数据可管可查 算法被合理执行 简单实现可视化 异常问题可知 场景-用户 用户查看权限可被管理 查找数据关系描述 数据内容可被搜索 可以查看订阅数据图表 场景-系统 获取数据成果 输送数据 数据暂存 数据计算 17 设计-架构 设计-部署 设计-收集 应用-关系 应用-调度 应用-可视化 服务 业务系统 管理后台 可视引擎 Mysql集群、Redis集群 关键术语 业务系统、桌面、报表 总结 不足 不能实现一键平台整体部署； 操作复杂，学习门槛高； 存在一些bug待修改，存在功能不足待完善； 部分流程之前还存在断层； 成果 所有系统实现分布式并支持多机房部署； 完成收集、存储、计算、展现、管理的打通； 实现机构化、非结构化、实时和离线的数据收集； 展望 技术方向 结合云计算、资源弹性使用； 增加算法库和开放算法平台； 开放平台，引入自由开发者； 提供离线和在线模式。 行业方向 行业领域的分析工具和分析服务； 建立数据交易共享规则。 谢谢！