大数据平台的设计与实现--四川大学研究生答辩ppt精编.pptVIP

应用-关系 应用-调度 应用-可视化 服务 业务系统 管理后台 可视引擎 Mysql集群、Redis集群 关键术语 业务系统、桌面、报表 总结 不足 不能实现一键平台整体部署； 操作复杂，学习门槛高； 存在一些bug待修改，存在功能不足待完善； 部分流程之前还存在断层； 成果 所有系统实现分布式并支持多机房部署； 完成收集、存储、计算、展现、管理的打通； 实现机构化、非结构化、实时和离线的数据收集； 展望 技术方向 结合云计算、资源弹性使用； 增加算法库和开放算法平台； 开放平台，引入自由开发者； 提供离线和在线模式。 行业方向 行业领域的分析工具和分析服务； 建立数据交易共享规则。 * 农业大数据平台的研究与设计 * * 1、大数据起源(美国独立战争后人口普查)-大数据快速发展（80年代的美国）-大数据的全球发展（21世纪初大数据技术） 2、大数据概念：是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长和多样化的信息资产 5EB：说话总和；2020：IDC 40ZB：40万亿GB，地球沙子的57倍（2012）；物联网、车联网 每年600ZB 文本、音频、图片、视频、模拟信号、传感器； 强子对撞机、电商11.11、传感器，数据时效性、云计算 寻找相关关系，数据质量差、量