原创力文档- 1、本文档共11页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
大数据应用的设计、实现 及其关键技术
姚继锋 博士
中国科学院软件研究所
中科嘉速（北京）并行软件有限公司
提要
背景及工作基础
系统需求分析
数据的获得
数据的存取
数据处理及其关键技术
数据的展示
报告项目背景
某研究院互联网数据采集、分析系统
微博、论坛、网页等互联网数据
数据规模数十~数百TB，舆情及社会动态分析
某水利厅智慧水利项目
水文、多种传感器以及气象信息等数据
数据规模数十TB，水利监控及决策支撑
中科院某所海量数据处理系统
仪器获得的基因序列等实验数据
数据规模数十PB乃至更多，大规模并行分析处理
工作基础
并行算法研究
大型线性、非线性方程组求解
海量文本数据并行压缩查询
……
大规模分布式并行应用系统实现
集群计算、GPU等加速计算
Map-Reduce、MPI、OpenMP等多种并行途径
云计算
中间件平台OnceCloud
面向工业仿真的云平台应用系统
文献情报分析处理云平台服务系统
需求分析
大数据系统意义
发现隐藏事实
预测未来可能
给出决策参考
期望大数据系统解决什么问题？
窃电、智能调度、经济趋势判断……
想做而过去不能做的 过去未曾想过的
数据的获得
已有历史数据
动态捕获数据
人工输入数据
加工反馈数据
数据的存取
硬件平台
主流分布式文件系统及比较
性能评估数据
数据的处理
事务/功能性数据处理
数据挖掘
大数据处理关键技术
算法及性能图表
大数据处理结果的展示
海量数据可视化
超高分辨率展示
文档评论（0）