高校科研大数据平台解决方案1.doc

教学科研大数据平台 解决方案  目录 TOC \o 1-5 \h \z \u 1. 概述 3 1.1. 背景 3 1.2. 建设目标 3 1.3. 建设的步骤和方法 3 2. 教学科研大数据平台概要 4 2.1. 架构设计 4 2.2. 教学科研大数据平台优势 6 2.2.1. 应用优势 6 2.2.2. 未来发展优势 8 3. 教学科研大数据平台设计 8 3.1. 大数据资源池 9 3.1.1. cProc云计算 9 . cProc云计算概述 9 . 数据立方 10 . 混合存储策略 15 . 云计算核心技术 15 .1. 数据处理集群的可靠性与负载均衡技术 15 .2. 计算与存储集群的可靠性与负载均衡 19 .3. 计算与存储集群的负载均衡处理 21 .4. 分布式文件系统的可靠性设计 23 .5. 分布式数据立方可靠性设计 23 .6. 分布式并行计算可靠性设计 25 .7. 查询统计计算可靠性鱼负载均衡设计 25 .8. 数据分析与数据挖掘 27 .9. cProc云计算优势 35 3.1.2. cStor云存储 36 . cStor云存储介绍 36 . cStor云存储架构 38 . Stor云存储关键技术 43 . 数据安全诊断技术 44 . cStor云存储优势 45 3.2. 大数据教学基础平台 46 3.2.1. Hadoop架构 46 3.2.2. Hadoop关键技术 47 3.2.3. Hadoop优势 51 3.2.4. Hadoop教学 51 3.3. 教学科研私有云 53 3.3.1. Minicloud迷你云 53 . Minicloud迷你云介绍 53 . Minicloud迷你云特点 54 . Minicloud迷你云优势 54 3.3.2. 云创网盘 57 . 网盘系统设计 57 . 文件同步管理系统 59 . 文件分析系统 64 . 云创网盘优势 65  概述 背景 随着教学资源的飞速增长，海量数据的存储已经成为高校研究的一个新难题。针对传统存储架构已突显管理数据资源效率不高和存储能力不足等问题，利用大数据处理平台已成当务之急。大数据处理平台是建立在云数据库基础上针对海量的数据的集中计算。建立一套具有高可靠、可在线弹性伸缩，提供数据内在关系和价值的数据计算平台。 在高校开发云计算科研平台、建立云计算科研实验室、创设云计算教学培训等，实现高校教学科研一体化流程。海量教学资源存储平台的实现使高校中海量教学资源数据能够有效存储和共享，对今后数字化校园的建设有了更加深渊的意义。为高校实现信息化教学和科研管理奠定良性基础，增加高校学生就业机会和薪资水平，逐步培养当今互联网时代IT行业的大数据人才。 建设目标 建设一个大数据教学科研实验室，做成大数据平台。即可以为高校科学研究提供技术支持，也可以满足高校的教学内容，做成高校大数据的标杆。 建设的步骤和方法 大数据平台建设以硬件平台搭配软件为基础，支撑实验室电子数据信息的存储和处理。 首先需要建立初步的大数据存储资源池和计算资源池，通过cStor、cProc、Minicloud来实现存储资源池和计算资源池，搭配Hadoop和云创网盘达到教学任务和科研任务，可以提供初步的大数据平台教学科研效果，实现高校教学科研一体化。 对初步大数据存储资源池和计算资源池进行扩容，建立虚拟化平台，深层次进行高端教学和高精尖科研的大数据平台。 对大数据存储资源池和计算资源进一步挖掘，实现基于云存储、云计算、虚拟化等技术的进一步科研。 教学科研大数据平台概要 架构设计 建立初步的大数据存储资源池和计算资源池,通过大数据教学基础平台、初步的大数据资源池(包括计算资源池和存储资源池)以及科研私有云建设来实现。 教学科研大数据资源池主要是计算资源池和存储资源池的设计和建设： cProc云处理平台建立计算资源池； cStor云存储系统建立存储资源池；组合成大数据资源池。 大数据教学基础平台通过Hadoop大数据平台建设来达到 使用Hadoop一揽子解决方案建设。 教学科研私有云建设：使用Minicloud搭配云盘设计学院私有云，辅助教学科研，丰富教学科研多样化。 教学科研大数据平台架构图 高校中汇聚着大量的信息，从学生角度来看，包括联系方式等基本信息，食堂消费、住宿晚归等生活信息，选课、课后作业、借阅图书、成绩等学习信息，参与的社团、竞赛、讲座等第二课堂信息；从教师角度来看，包含教学任务、课件等教学信息