并行关联规则算法associationsmr.ppt

摩尔定律 集成电路芯片上所集成的电路的数目，每隔18个月就翻一番，同时性能也提升一倍 Gordon Moore “免费的性能大餐”？ Andy given, and Bill taken away 软件算法、数据结构似乎不再重要，因为处理器性能不断提升 免费的午餐已经结束！！ Intel Microsoft 摩尔定律正在走向终结… 单芯片容纳晶体管的增加，对制造工艺提出要求 CPU制造18nm技术，电子泄漏问题 CPU主频已达3GHz时代，难以继续提高 散热问题（发热太大，且难以驱散） 功耗太高 未来的发展：多核 在多核时代生存，必须考虑并发问题 不存在解决多核编程问题的银弹， 不存在可以简单地将并发编程问题化解掉的工具， 开发高性能的并行程序必须要求开发者从根本上改变其编程方法 从某种意义上来说，这不仅仅是要改变50年来顺序程序设计的工艺传统， 而且是要改变数百万年来人类顺序化思考问题的习惯 Herb Sutter 串行编程 早期的计算里，程序一般是被串行执行的 程序是指令的序列，在单处理器的机器里，程序从开始到结束，这些指令一条接一条的执行 并行编程 一道处理可以被划分为几部分,然后它们可以并发地执行 各部分的指令分别在不同的CPU上同时运行，这些CPU可以存在于单台机器中,也可以存在于多台机器上,它们通过连接起来共同运作 什么样的问题适合并行计算？ 斐波那契序列(Fibonacci)的计算？ 什么样的问题适合并行计算？ 如果有大量结构一致的数据要处理，且数据可以分解成相同大小的部分， 那我们就可以设法使这道处理变成并行 计算问题简单，但求解困难 待处理数据量巨大（PB级），只有分布在成百上千个节点上并行计算才能在可接受的时间内完成 如何进行并行分布式计算？ 如何分发待处理数据？ 如何处理分布式计算中的错误？ 简单的问题，计算并不简单！ 1???? 并行分类算法Classifiers4MR 分类功能应以用户提供的历史消费清单作为训练数据，这些数据中有一个属性作为分类属性，且每条记录已标明分类属性的值。分类算法应提供两方面基本功能：（1） 学习分类模型：从训练集数据中发现潜在的分类模型，并以特定方式表达（2） 预测：对用户新提供的数据集，依据分类模型预测出所属类别 并行分类算法包括：EmptyClassifier4M、C45决策树、CBC分类、CBR分类、K近邻、朴素贝叶斯、层次C45决策树、线性回归分类、神经网络算法。 BC-PDM挖掘算法 * * 微软芝加哥数据中心 * * * * * 刘鹏 gloud@126.com 中国云计算： 中国网格： 内 容 提 纲 云计算的起源 云计算发展的驱动因素 云计算的定义 云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。 云计算技术体系结构 Google云计算关键技术 Google文件系统GFS(Google File System) 并行数据处理MapReduce 结构化数据表BigTable 分布式锁管理Chubby MapReduce BigTable GFS Chubby 为什么不使用当时现存的文件系统？ Google所面临的问题与众不同 不同的工作负载，不同的设计优先级（廉价、不可靠的硬件） 需要设计与Google应用和负载相符的文件系统 * 硬件出错是正常而非异常 系统应当由大量廉价、易损的硬件组成 必须保持文件系统整体的可靠性 主要负载是流数据读写 主要用于程序处理批量数据，而非与用户的交互或随机读写 数据写主要是“追加写”，“插入写”非常少 需要存储大尺寸的文件 存储的文件尺寸可能是GB或TB量级，而且应当能支持存储成千上万的大尺寸文件 * 将文件划分为若干块（Chunk）存储 每个块固定大小（64M） 通过冗余来提高可靠性 每个数据块至少在3个数据块服务器上冗余 数据块损坏概率？ 通过单个master来协调数据访问、元数据存储 结构简单，容易保持元数据一致性 无缓存 Why? * 单一Master, 若干ChunkServer GFS的架构有什么问题吗？ * * 分布式系统设计告诉我们： 这是单点故障 这是性能瓶颈 GFS的解决办法 单点故障问题 采用多个（如3个）影子Master节点进行热备，一旦主节点损坏，立刻选举一个新的主节点服务 * GFS的解决办法 性能瓶颈问题 尽可能减少数据存取中Master的参与程度 不使用Master读取数据，仅用于保存元数据 客户端缓存元数据 采用大尺寸的数据块（64M） 数据修改顺序交由Primary Chunk Server完成 Simple, and g