智慧教育-高校大数据实验室建设方案.pdf

智慧教育:高校大数据实验室建设方案 第一部分、大数据介绍 一、背景介绍 移动互联网、电子商务以及社交媒体的快速发展使得企业需要面临的数据量成指数增长。根 据 IDC 《数字宇宙》(Digital Universe)研究报告显示，2020 年全球新建和复制的信息量 已经超过40ZB ，是2012 年的 12 倍;而中国的数据量则会在 2020 年超过 8ZB ，比2012 年增长 22 倍。数据量的飞速增长带来了大数据技术和服务市场的繁荣发展。IDC 亚太区(不 含日本)最新关于大数据和分析(BDA)领域的市场研究表明，大数据技术和服务市场规模将 会从 2012 年的 5.48 亿美元增加到 2017 年的 23.8 亿美元，未来 5 年的复合增长率达到 34.1%。该市场涵盖了存储、服务器、网络、软件以及服务市场。数据量的增长是一种非线 性的增长速度。 据 IDC 分析报道，最近一年来，亚太区出现了越来越广泛的大数据和分析领域的应用案 例。在中国，从互联网企业，到电信、金融、政府这样的传统行业，都开始采用各种大数据 和分析技术，开始了自己的大数据实践之旅;应用场景也在逐渐拓展，从结构化数据的分 析，发展到半结构化、非结构化数据的分析，尤其是社交媒体信息分析受到用户的更多关 注。用户们开始评估以 Hadoop、数据库一体机以及内存计算技术为代表的大数据相关新 型技术。 二、大数据简介 大数据（big data）是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理 的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应 海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息， 而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那 么这种产业实现盈利的关键，在于提高对数据的 “加工能力”，通过 “加工”实现数据的 “增值”。 第二部分、大数据实验室介绍 一、大数据实验室建设的必要性 数据挖掘与大数据分析是以计算机基础为基础，以挖掘算法为核心，紧密面向行业应用的一 门综合性学科。其主要技术涉及概率论与数理统计、数据挖掘、算法与数据结构、计算机网 络、并行计算等多个专业方向，因此该学科对于实验室具有较高的专业要求。实验室不仅要 提供基础的开发环境，还要提供大数据的运算环境以及用于实验的实战大数据案例。这些实 验素材的准备均需专业的大数据实验室作为支撑。 目前，在我国高校的专业设置上与数据挖掘与大数据分析实验相关的学科专业包括：计算机 科学与技术、信息管理与信息系统、统计学、经济、金融、贸易、生物信息以及公共卫生 等。这些专业的学生需要分别从原理、技术与应用等不同的角度掌握大数据分析的理论与分 析方法。学生要很好地掌握这些课程，除了课堂学习，通过实验来加深理解和提高实际应用 操作能力也是主要途径。调查表明，数据挖掘与大数据分析实验所需要的算法、计算环境以 及数据等，都无法在我国高校现有的实验室中完成。因此，建设专门的数据挖掘与大数据分 析实验室就显得非常重要。 二、大数据实验室建设的意义 大数据已经给新兴互联网企业（如电子商务、搜索引擎、社交网络、互联网营销等）、银行 金融企业、高端装备制造企业等带来了巨大的商业机遇，大数据在整个企业的价值增值链中 发挥着至关重要的决定性作用。大数据同时正在成为政府和企业竞争的新焦点，各大企业正 纷纷投向大数据促生的新蓝海，给大数据行业带来新的发展机遇。泛亚咨询”发布的调研数 据显示，2013 年前两季度，出现在各类招聘平台上与数据分析相关的招聘需求比去年同期 相比，增长率高达 67%；大数据相关高级职位的薪酬与其他同类技术职位相比平均高出 43%以上。 建设大数据专业教学实训实验室，开展以大数据为方向的创新专业，项目实训，能有效实现 快速引进入国内外大数据先进的技术、成熟的解决方案以及管理和教学内容。同时达到为社 会输送合格的大数据技术人才，提升本校毕业生的就业率和就业质量；使高等院校在新技术 教学成果展示，数据挖掘，数据分析，商业智能等科研方向，以及校企合作领域处于领先地 位。实现科研、教学与社会服务的顺畅衔接，逐步打造以培养大数据为核心人才的科研、教 学基地。同时，建设大数据云实验室将带给教师和学生领略大数据技术的魅力和广阔前景， 使学生掌握主流的大数据存储、管理、分析处理技术，以及大数据平台架构和建设，分享成 功的大数据应用项目实施经验，学习大数据应用项目解决方案咨询服务。 第三部分、大数据实验室建设 （1）基础环境建设 实验室基础环境建设主要是支撑实验室教学运行的基本环境配套建设，包括学生实