- 1、本文档共5页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
好程序员大数据培训 MapReduce功能与技术特征一览 2
好程序员大数据培训 MapReduce功能与技术特征一览
初入社会,一段时间的工作,让自己深感疲惫,在编码的实践操作过程中也略显吃力,百般思考,决定对自己已有的知识体系重新整合,将自己所掌握的知识重新加工,报个班,回炉再造。
入学好程序员大数据高端班两个多月的时间,与想象中的一样,有序的课堂秩序,老师更为贴近实战化的教学指导,还有一群志同道合的战友,大家都是为了一个目标而顶着酷热和庞杂的代码做着艰苦的战斗,编码的日子是枯燥无趣的,这一条路也视乎没有尽头,但既然从事了这一行业,就必须持之以恒,勇往直前的走下去,话不多说,奉上近期的课堂小结,仅供参考,希望对大家有所帮助。
一、MapReduce提供了以下的主要功能
1)数据划分和计算任务调度,系统自动将一个作业(Job)待处理的大数据划分为很多个数据块,每个数据块对应于一个计算任务(Task),并自动 调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点(Map节点或Reduce节点),同时负责监控这些节点的执行状态,并 负责Map节点执行的同步控制。 2)数据/代码互定位,为了减少数据通信,一个基本原则是本地化数据处理,即一个计算节点尽可能处理其本地磁盘上所分布存储的数据,这实现了代码向 数据的迁移;当无法进行这种本地化数据处理时,再寻找其他可用节点并将数据从网络上传送给该节点(数据向代码迁移),但将尽可能从数据所在的本地机架上寻 找可用节点以减少通信延迟。 3)系统优化,为了减少数据通信开销,中间结果数据进入Reduce节点前会进行一定的合并处理;一个Reduce节点所处理的数据可能会来自多个 Map节点,为了避免Reduce计算阶段发生数据相关性,Map节点输出的中间结果需使用一定的策略进行适当的划分处理,保证相关性数据发送到同一个 Reduce节点;此外,系统还进行一些计算性能优化处理,如对最慢的计算任务采用多备份执行、选最快完成者作为结果。 4)出错检测和恢复,以低端商用服务器构成的大规模MapReduce计算集群中,节点硬件(主机、磁盘、内存等)出错和软件出错是常态,因此 MapReduce需要能检测并隔离出错节点,并调度分配新的节点接管出错节点的计算任务。同时,系统还将维护数据存储的可靠性,用多备份冗余存储机制提 高数据存储的可靠性,并能及时检测和恢复出错的数据。
二、MapReduce设计上具有以下主要的技术特征 1)向“外”横向扩展,而非向“上”纵向扩展。即MapReduce集群的构建完全选用价格便宜、易于扩展的低端商用服务器,而非价格昂贵、不易扩展的高端服务器。对于大规模数据处理,由于有大 量数据存储需要,显而易见,基于低端服务器的集群远比基于高端服务器的集群优越,这就是为什么MapReduce并行计算集群会基于低端服务器实现的原因。 2)失效被认为是常态。MapReduce集群中使用大量的低端服务器,因此,节点硬件失效和软件出错是常态,因而一个良好设计、具有高容错性的并行计算系统不能因为节点 失效而影响计算服务的质量,任何节点失效都不应当导致结果的不一致或不确定性;任何一个节点失效时,其他节点要能够无缝接管失效节点的计算任务;当失效节 点恢复后应能自动无缝加入集群,而不需要管理员人工进行系统配置。 MapReduce并行计算软件框架使用了多种有效的错误检测和恢复机制,如节点自动重 启技术,使集群和计算框架具有对付节点失效的健壮性,能有效处理失效节点的检测和恢复。
3)把处理向数据迁移。传统高性能计算系统通常有很多处理器节点与一些外存储器节点相连,如用存储区域网络(Storage Area,SAN Network)连接的磁盘阵列,因此,大规模数据处理时外存文件数据I/O访问会成为一个制约系统性能的瓶颈。 为了减少大规模数据并行计算系统中的数据 通信开销,代之以把数据传送到处理节点(数据向处理器或代码迁移),应当考虑将处理向数据靠拢和迁移。MapReduce采用了数据/代码互定位的技术方法,计算节点将首先尽量负责计算其本地存储的数据,以发挥数据本地化特点,仅当节点无法处理本地数据时,再采用就近原则寻找其他可用计算节点,并把数据传送到该可用计算节点。 4)顺序处理数据、避免随机访问数据。大规模数据处理的特点决定了大量的数据记录难以全部存放在内存,而通常只能放在外存中进行处理。由于磁盘的顺序访问要远比随机访问快得多,因此 MapReduce主要设计为面向顺序式大规模数据的磁盘访问处理。为了实现面向大数据集批处理的高吞吐量的并行处理,MapReduce可以利用集群中 的大量数据存储节点同时访问数据,以此利用分布集群中大量节点上的磁盘集
您可能关注的文档
- 大学生创业基础李肖鸣课后作业答案.docx
- 大学生安全教育五.docx
- 大易化工二甲基硅油的特性及用途.docx
- 大数据的介绍.pptx
- 大理石粘贴做.docx
- 大肠菌群计数检验.ppt
- 大转型下的时代——从结构性改革看中国经济新趋势.pptx
- 大连工龄工资制度.docx
- 大蟑螂如何消灭大个蟑螂处理.docx
- 大连市融资性担保公司及分支机构设立和变更工作指引试行.doc
- 智能教育创新:2025年K2教育AI个性化学习系统应用效果实证研究报告.docx
- 教育行业招生数据监控与分析:2025年数字化营销策略报告.docx
- 冷链物流行业温控技术解决方案及质量监管体系研究报告.docx
- 工业互联网平台网络流量整形技术在工业互联网平台绿色节能中的应用报告.docx
- 医疗美容行业生物活性物质在2025年的应用与市场监管报告.docx
- 农村金融服务创新:2025年农村金融风险管理与创新策略报告.docx
- 网络直播内容监管与行业自律发展2025年研究报告:行业现状与趋势.docx
- 美妆个性化定制服务模式在美容院线产品组合策略中的应用报告.docx
- 绿色转型中的资源型城市2025:生态环境损害赔偿与修复机制报告.docx
- 2025年教育信息化基础设施建设现状及挑战应对策略报告.docx
文档评论(0)