统计专业大数据实验室建设问题刍议.docVIP

精品论文 参考文献 统计专业大数据实验室建设问题刍议 （吉林财经大学 吉林 长春 130117） 【摘　要】 大数据时代的加速发展对统计学的教学和科研提出了严峻的挑战，作为实践环节中的重要组成部分，大数据实验室的建设工作成为目前许多高校统计学专业建设均要解决的问题。在分析统计专业大数据实验室需求的基础上，探讨了实验室建设的逻辑、技术模式和选择策略。 【关键词】 统计学 大数据 实验室 混合云 【基金项目】 本文是吉林省高等教育教学改革研究重点课题《大数据时代统计学专业设置及课程调整研究》、吉林省教育科学规划课题《财经类院校统计应用型人才实践能力培养模式的改革与实践》的中期成果。 中图分类号： G64 文献标识码： Ａ　　文章编号：ISSN1004-1621（2016）12-0031-02 1.引言 大数据时代的来临使得统计学专业的科研、教学均受到一定的挑战。尤其是大数据所具有的4V特征，即数量(Volume)、多样性(Variety、速度(Velocity)和价值(Value)给统计学专业实验室建设带来了相当的挑战：模拟大数据分析环境需要相当的硬件条件与之匹配，而事实上各高校的统计学院在经费、硬件建设、师资储备方面都大大落后于社会发展对大数据人才的需求。如何规划与建设大数据实验室，满足科研与教学乃至社会服务的需求是一项统计人必须思考和解决的课题。本文首先分析了高等学校统计学专业对大数据实验室的需求，在此基础上分析了搭建大数据实验室的逻辑结构；其次分析了构建大数据实验室的三种硬件搭建模式：私有云模式、公有云模式以及混合云模式；再次分析了如何在不同资金约束下实施上述述大数据实验室模式的策略选择；最后对建设统计专业大数据实验室提供了相关建议。 2.统计大数据实验室建设需求及构架分析 大数据也称巨量资料，通常是指使用一般的软件工具难以捕捉、管理、存储和分析的海量、多样化、高增长率的数据资源。事实上数据量多少不是划分大数据的依据，笔者认为大数据是社会信息化发展成熟阶段后，原本分属于一个专业分工下的数据被其它专业（职业）再深度利用的智能发展过程。原本分属于不同行业、部门、专业的数据汇聚于数据中心则可能对社会管理、商业智能、科学研究都产生不可估量的影响。正是这种深刻的变革使得统计专业原有的实验室相形见绌：数据处理能力较低、数据处理速度较慢、数据存储量较少、实验室数据资源主题较为单一。 统计专业大数据实验室要在教学、科研、社会服务三个方面做好规划与需求分析。在教学方面，大数据实验室要能够围绕专业设置、课程改革、培养模式提供有力的硬件和软件支撑。传统的统计学专业培养模式中，数据处理能力一直是教学与实践环节的短板，因此大数据实验室一定要在大数据管理、大数据集成、大数据分析、大数据应用方面提供一套体验、学习、实践、研究、创新、创业的软硬件平台。至少要让学生在技术层面掌握主流数据库的使用与管理、实践环节上接触大数据案例、认知上形成融汇各门课程内容的意识。在科研方面，大数据实验室应至少满足TB级数据量的数据处理、统计计算、模拟分析等方面的需求。在社会服务方面，最好也能够满足TB级乃至PB级的数据分析与数据挖掘项目。 综上分析可知，统计大数据实验室的建设实际上需要融合统计学、计算机科学与技术、信息管理等多个学科的知识。如图1所示，构建统计大数据实验室的基本逻辑就是；以云计算和Hadoop计算平台为中心，以数据采集（清洗）和数据管理及服务为两翼，以满足教学、科研和社会服务为目标的软件、硬件的有机结合。其中最为核心的就是基于Hadoop平台的数据存储、计算和服务。 3.统计大数据实验室构建模式分析 构建统计大数据实验室不同于传统上建设一个计算机机房，也不是真的要完全建设一个商业应用级别的Hadoop平台，那样大部分院校都无法承担其建设的成本与运维的费用。构建大数据实验室就是要在合理的成本下，搭建模拟大数据分析的软件与硬件环境，使得学生能够在学校内模拟在企业中所做的大数据统计分析工作。目前，许多软件、硬件供应商都提供了针对高校的大数据实验室的解决方案，根据其对云计算应用模式选择的不同，可以进行如下分类。 私有云模式。简单的讲，这种模式就是将数据存储和云计算的全部服务器均部署在本地的模式，华为、甲骨文等公司提供这种类型的服务。这种模式的优点是云计算平台就在本地，其提供的云计算服务可以不受远程网络速度的限制，能够很好的为整个校园中需要大数据分析及服务的