hadoop的大数据处理讲义-c.2 海量数据处理概论2.pdfVIP

海量数据处理中的云计算 C1. 海量数据处理概论 北京邮电大学信息与通信工程学院 刘军 liujun@ 2014年春季学期 本节目录  海量数据的定义与特征（3V ）  海量数据带来的技术挑战  海量数据处理的三大关键问题（？）  海量数据处理的云计算变革 第2页 海量数据处理框架与三大关键问题 3V 数据分析 ｝ 数据计算 计算 平 台 数据存储 ｝ 容错 管 理 ｝ 存储 文件存储 现代数据处理 数据集成 现代数据处理 能力组件 能力组件 Database Web Log … 数据源 现代数据处理框架 第3页 并行计算的关键  什么能并行？什么不能并行？如何并行？ 第4页 并行计算的关键：算法设计  1   并行算法的目的 －降低F ：IPS MF IPC       F  1F / N   并行算法设计的核心概念：任务（Task ）、通道（Channel ）  并行算法的设计过程 第5页 并行模式 独立并行 流水线并行 分割并行 – 两个数据操作间没有数据依 – 多个操作间存在依赖关系，且 – 数据操作的输入数据可以分解为多个 赖关系 后一个操作必须等待前一个操 子集，且子集之间相互独立 – 可以采用独立并行的方式分 作处理完后方可执行 – 分割为若干独立的子操作，每个子操 配给不同的处理器执行 – 将多个操作分配给不同处理器， 作只处理对应的部分数据，并将这些 – 例：两个独立数据集的Scan 但处理器间以流水线方式执行 子操作配到不同的处理器上执行 操作 – 例：Scan → Sort → Group – 例： Scan → Merge 第6页 并行系统架构 共享内存（Shared Memory ，SM ） 共享磁盘（S