基于hadoop的工业大数据采集分析系统的设计与实现论文.pdfVIP

“基于 Hadoop 的大数据分析” 课程规划与设计 “基于Hadoop 的大数据分析”课程规划与设计 摘要：大数据时代社会各行业对大数据方向人才的需 求凸显，为顺应产业发展需要，我校改革课程设置，建设以 开源分布式框架 Hadoop 为技术基础的大数据分析课程。文 章从目标内容设置、师资团队建设、实践中心配备、授课方 式特色，以及考核制度革新多个方面展开对课程规划与设计 的详细论述，藉此为国家和社会培养具有工程意识和创新思 维的高素质精英人才，也为其他高校同类课程的开设提供一 定的借鉴和参考。 关键词： Hadoop ；大数据；课程规划；人才培养；授 课方式 中图分类号：TP311 文献标识码：A 文章编号： 1009-3044 （2015）07-0190-03 Abstract： I the era of big data， the demand for talents from all walks of life is increasing. I order to adapt to the need of industrial development， we are carrying out the curriculum reform by constructing a big data analysis course based on Hadoop. Several aspects of the course on the design and pla ing are discussed in detail. They are the target and content settings,the construction of teaching team,the equipment of practice center,the teaching methods special ties and the appraisal system innovations.Our work helps to cultivate talents with the awareness of engineering and innovative thinking,and also does good for other colleges offering similar courses. Key words:hadoop;big data;course planning; talent cultivation; teaching method. 1引言 当前计算机技术全面融入人们的社会生活， 移动互联、社 交网络、 电子商务等极大拓宽了互联网的边界和应用领 域。 大数据浪潮正汹涌来袭， 并渗透到社会的方方面 面。越来越多的企业期望使用大数据和云计算的技术来对 经 海量数据进行整合分析， 以解决生产 营业务中的难题 [1-3]。 而与此大的发展趋势不相协调的则是高校计算机 专业毕业生在大数据方向上基础薄弱，真正掌握大数据管 理、分析和产品研发等相关技术的人才极度匮乏。高等院 校需要以实际行动回应社会对计算机专业人才培养的需 求，以更为有力的方式来承担大学应有的责任，培养出高 水平人才以适应产业发展需要[4-6]。 这也是我校建设大 数据分析课程的初衷。 经过最近短短几年的发展，Hadoop已经成为架构云计算 平台进行大数据存储和计算分析的首选。 Hadoop以HDFS和 MapReduce 为核心，为开发者提供了系统底层细节透明的分 布式基础架构，从而轻松地组织计算资源，利用集群的能力 完成海量数据的处理，目前其已发展成为包含很多开源框架 项目的生态系统[7-8]。因此该课程即以Hadoop为基础来展 开对大数据分析的原理、技术和方法的讲授。 2 明确目标，落实人才培养 2.1 培养对象 大数据分析涉及到众多学科内容，如计算机网络、数据 库原理、数据结构、分布式系统、LINUX操作系统、云计算、 数据挖掘、算法设计与分析等基础性课程等，本课程可作为 计算机学科研究生的专业课和本科高年级学生的专业选修 课。因为处于该阶段的学生有了足够的知识储备，并且对学 科方向有了清晰的认识，对未来的就业