大数据与并行计算.pptVIP

《大数据处理》大数据与并行计算 中 南 大 学 信息科学与工程学院 大数据时代：是变革还是烦恼《科学画报》,2013.10 1. 解读大数据a. 2009年，“大数据”脱颖而出 b. 手机、平板电脑；物联网、云计算、移动互联网……c. 定义：大而复杂、难以用现有数据库管理工具处理的数据集。2. Big Data 内涵 a. 数量巨大、来源多样化、类型多样化 b. 新型数据处理和分析技术c. 运用新型数据分析技术所形成的具有价值的结果3. 实现准确的预测 d. 亚马孙卖书的推荐系统 2007年. 90%以上都已数字信息化 * * Hype Cycle for Emerging Technologies * 并行计算 多核 多处理器 分布式计算 * * 多核的发展必然 * * * 多核编程内容 多核编程内容 OpenMP用于共享内存并行系统的多线程程序设计的一套指导性的编译处理方案。 OpenMP支持的编程语言包括C语言、C++和Fortran。OpenMP提供了对并行算法的高层的抽象描述，程序员通过在源代码中加入专用的pragma来指明自己的意图，由此编译器可以自动将程序进行并行化，并在必要之处加入同步互斥以及通信。 MPI作为消息传递机制，在PC、工作站、以及各种并行机上运行 * 并行计算机 * * 技术墙 * 结论 分布式