基于Spark平台的GPU调度绪论.pptx

基于Spark平台的GPU调度研究;2; 现有编程模型（MapReduce）是一种非循环数据流抽象模型，不适用于需要重复使用数据集的应用： 迭代计算（机器学习） 交互式数据挖掘工具（R , Excel, Python） ;分布式内存抽象 支持数据延迟查询 支持比Map和Reduce更多的函数 提供交互式的Scala shell和Python shell 保留MapReduce优点 容错 数据局部性 可扩展性 ;数据存储 资源管理 计算;;全称: Resilient Distributed Datasets 容错的、只读的、分布式数据集 允许用户指定数据的存储级别(内存/外设) 提供丰富的并行操作 Reduce Collect Count … ;操作类型 变换(Transformation) 不计算，仅返回新RDD 行动(Action) 进行计算，返回新值给driver程序;一个例子：日志挖掘 ;依赖关系划分 窄依赖 RDD的每个分区最多被Child RDD的一个分区使用 宽依赖 RDD的一个分区被Child RDD的多个分区使用 ;存储级别 ;容错 使用世袭(lineage)信息重构丢失分区 ;优势 维护一致性成本低 容错开销低 良好的局部性(Locality-aware) 支持多种类型大数据应用;比较RDD和DSM ;16; ;KMeans ;代码片段 ;代码片段 ;代码片段 ;实验平台 ;运行时间划分 ;整个程序耗时 ;（接上） ;整个程序耗时 ;KMeans算法耗时 ;（接上） ;KMeans算法耗时 ;KMeans Kernel耗时 ;（接上） ;KMeans Kernel耗时 ;; ;;def collect(): Array[T] = { val results = sc.runJob(this, (iter: Iterator[T]) = iter.toArray) Array.concat(results: _*) } ;;（接上） ;