大数据基础课程设计和构建.docVIP

大数据基础课程设计和构建 　　摘要摘要：设计构建了《大数据基础》通识基础课程，课程介绍了大数据的基本概念、特点与大数据引起的时代变革，以及相关的数据处理平台方法和大数据挖掘技术，并通过实际案例讲述大数据在日常生活和各个行业中的应用。通过该课程，可使学生对大数据时代及大数据应用有一定了解，并能进一步延伸思考本专业领域的大数据应用发展方向及前景。 　　关键词关键词：大数据；数据挖掘；大数据处理；大数据平台；大数据案例 　　DOIDOI：10.11907/rjdk.1511646 　　中图分类号：G434 　　文献标识码：A文章编号文章编号2016）001018202 　　0引言 　　随着互联网的飞速发展，企业计算、云计算、物联网等各种应用的涌现，“大数据”应运而生[1]。21世纪已迈入了“大数据时代”。作为大数据时代的人才，了解大数据时代特点，掌握大数据处理的基本方法，了解各行业使用大数据将造成的社会变革，已成为21世纪市场对人才的需求。 　　大数据是未来发展的趋势，大数据课程的开设，有助于培养出符合市场发展和企业需求的21世纪创新型人才，而国内现有的高校人才培养和课程体系中缺少面向高校所有专业开设的大数据基础课程。如何设计和构建面向高校所有专业的《大数据基础》课程是本文研究的主旨。 　　1国内外大数据相关课程现状调查分析 　　目前，国外有多所高校开设了大数据方向专业课程，如波士顿大学、北卡罗莱纳州立大学、德保罗大学等。课程的开设与人才培养的侧重点紧密相关，主要分为3个方向：面向商学院、管理学院、财经学院的大数据分析方向，面向计算机学院与软件学院的大数据平台方向，面向理学院的深度计算分析方向[2]。在国外，大数据相关课程主要以课程体系的形式开设，重在以项目的形式培养学生实践动手能力和使用大数据技术解决问题的能力。 　　近年来陆续有国内高校在计算机学院、软件学院等开设针对研究生的大数据专业方向课程。2014年，西安电子科技大学开设大数据技术与应用专业硕士方向；2013年，北京航空航天大学成立了“大数据技术与应用”软件工程硕士项目；2012年，西安交通大学软件学院建立了以大数据系列课程作为专业必选课、针对研究生的业务分析系；2011年，北京交通大学软件学院建立了研究生信息管理专业[2]。 　　国内针对本科生的大数据相关课程开设较少。清华大学在本科培养方案中开设了专业限选课“云数据管理”；部分国内高校也开设了与大数据相关的课程，如“存储技术”、“数据挖掘”与“分布式编程和数据处理”等，但课程仅在计算机学院、软件学院等学院内部作为专业限选课或选修课开放。 　　可以看到，随着大数据时代的到来，国内高校开始逐步开设大数据相关专业方向，并建设大数据专业课程。然而，大数据作为各行各业都需要使用的技术，是各行业人才都需要了解和掌握的。目前，国内鲜有高校面向全校本科生开设《大数据基础》课程。 　　2课程构建思路 　　根据社会各行业对人才在大数据方面的知识储备需求，学校设计构建了面向全校各专业本科生开设的《大数据基础》课程。在广泛调研了解社会各行业大数据处理及应用的基础上，在构建《大数据基础》课程内容中遵循以下3点思路： 　　（1）不同行业的大数据均具有相同的数据类型和特点，只是数据的表现形式和使用方式不同。因此，课程需要介绍大数据的基本概念和特点，以及各行业使用大数据对时代的影响和变革。 　　（2）大数据要发挥作用，其核心在于对大数据的处理，包括数据处理平台和数据处理方法。传统的数据处理平台和处理方式很多不适用大数据的处理，大数据有其特有处理方式。因此，大数据的处理是本课程讲授的核心和重点。 　　（3）《大数据基础》作为面向各个专业的通识基础课程，为了提升学生对课程的理解能力与学习兴趣，需要通过对多个行业大数据应用案例进行讲述，以帮助其深入了解大数据的数据类型、应用处理方法和过程等，并对大数据时代产生进一步深入认知。 　　3课程构建思路 　　3.1课程内容设计 　　课程具体内容设计如图1所示。 　　在第一章中，主要介绍大数据时代的产生、大数据的概念特点，大数据时代到来对社会生活产生的影响、引发的行业变革，以及在大数据时代来临之时，新的问题和挑战的提出。在这一章的介绍中，大数据的概念特点是基础，由此引起的社会变革是现象，需要学生们通过讨论进一步深入理解；新挑战的提出为学生们开辟了广阔的视角，有助于帮助他们根据时代需求确定学习研究的方向和对自身的培养规划。 　　要从大数据中提取有价值的信息，需要对数据进行信息挖掘。第二章中首先介绍数据挖掘的概念，然后详细介绍数据预处理的方法流程和数据挖掘的主要方法，最后结合案例介绍大数据挖掘的实际应用。在案例选取中，使用了亚马逊推荐系统、谷歌翻译系统，以