大数据与并行计.pptVIP

《大数据处理》大数据与并行计算 中 南 大 学 信息科学与工程学院 大数据时代：是变革还是烦恼《科学画报》,2013.10 1. 解读大数据a. 2009年，“大数据”脱颖而出 b. 手机、平板电脑；物联网、云计算、移动互联网……c. 定义：大而复杂、难以用现有数据库管理工具处理的数据集。2. Big Data 内涵 a. 数量巨大、来源多样化、类型多样化 b. 新型数据处理和分析技术c. 运用新型数据分析技术所形成的具有价值的结果3. 实现准确的预测 d. 亚马孙卖书的推荐系统 2007年. 90%以上都已数字信息化 * * Hype Cycle for Emerging Technologies * 并行计算 多核 多处理器 分布式计算 * * 多核的发展必然 * * * 多核编程内容 多核编程内容 OpenMP用于共享内存并行系统的多线程程序设计的一套指导性的编译处理方案。 OpenMP支持的编程语言包括C语言、C++和Fortran。OpenMP提供了对并行算法的高层的抽象描述，程序员通过在源代码中加入专用的pragma来指明自己的意图，由此编译器可以自动将程序进行并行化，并在必要之处加入同步互斥以及通信。 MPI作为消息传递机制，在PC、工作站、以及各种并行机上运行 * 并行计算机 * * 技术墙 * 结论 分布式计算是大数据时代的必然趋势！ * 分布式计算是大数据时代的必然趋势 所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。 * 非常巨大的计算能力才能解决的问题 解决较为复杂的数学问题 研究寻找最为安全的密码系统 ,如密码破解 生物病理研究 ,研究蛋白质折叠，误解，聚合及由此引起的相关疾病 各种各样疾病的药物研究，寻找对抗癌症的有效的药物 信号处理 这些问题都应该由超级计算机来解决! * Big Data, Where to Go