智慧高校大数据方案.pptxVIP

高校大数据解决方案汇报

高校信息化发展趋势初步具有校园网络环境能实现简单的信息查询服务应用较少或不能互联互通1234传统校园电子校园数字校园智慧校园具备一定的的数字化资源应用系统初步集成，相关业务初步融合具有丰富的数字化资源应用系统可集成性强，相关业务高度整合支持软件设施具有开放性和可扩展性充分发挥数据价值，支撑校园管理提供一站式服务基础网络环境教学应用信息化业务系统资源整合大数据+服务

高校大数据发展瓶颈收益成本运营1天故障恢复时间业务与IT的匹配30%资源利用率30天业务上线大数据的性能和成本压力集中管理的压力学校涉及数据多样，包括财务、资产、科研、招生、教务等管理型业务产生的的数据以及学生消费、网络行为、位置数据。数据资源分散且碎片化。数据资源分散缺乏统一的技术标准、数据标准、接口标准，数据口径不一致，融合共享困难。标准不统一大数据存储、处理技术存在一定门槛，作为管理支撑手段，高校无需投入过多技术力量，如果没有外部技术支持，大数据应用推进存在较大困难。技术能力欠缺缺乏具备良好大数据思维的IT人员以及大数据工程师、数据科学家等高级人才。人才储备不足

我们对高校大数据的理解教务处教研室后勤活动中心管理中心教室/图书馆AP位置信息上网认证数据网络行为数据购物数据就餐数据刷卡机位置数据上课数据图书借阅数据门禁数据运动健身数据闸机位置数据体质特征数据学籍信息数据资助信息数据心里监控数据课程安排选课信息请假信息融合汇总数据源接入清洗加工数据模型数据可视化学生数据集教师数据集科研数据集模型处理应用……学籍信息消费信息活动轨迹成绩信息基本信息……代课信息项目申报……科研成果不良借贷行为预警学校预警监控贫困生测评应用场景实现综合校情网格化管理网络人群分析……微信企业号数据服务展示大屏

高校大数据建设策略建议示范应用平台+数据源数据模型数据加工数据仓储数据可视化应用封装大数据平台精确定位问题，快速修正”装配方式”快速构建应用数据源教务系统学工系统科研系统资产系统财务系统……网络人群分析……网格化管理综合校情舆情监控贫困生测评数据接口服务

高校大数据总体架构科研数据资产数据……网络舆情管理数据数据源招生数据教学数据渠道层信息安全及运维管理体系教育大数据总体规划采集层分析层应用层Sqoop大数据传输工具Flume文本采集工具Hadoop大数据存储MPP数据存储实时计算引擎离线计算引擎内存计算引擎工作流调度Kafka消息队列数据层交换层数据清洗数据交换数据标准化ETL工具网络人群分析网格化管理综合校情贫困生测评舆情监控PC浏览器端移动终端平板电脑终端大屏幕……校领导教师教务用户学生系统管理员后勤平台应用

平台篇01

平台应用架构内部数据源外部数据源运维管理数据共享交换平台用户管理标准管理Ambari(平台管理)Zookeeper(平台配置与调度)Oozie(工作流调度)Sqoop/ETL/KafkaFlumeHcatalog（元数据管理）MapReduce/Yarn(编程模型)SparkStreaming/Storm(编程模型)Hive(数据分析)Sparksql(数据分析)Hbase（数据存储）Redis（KV存储）MySQL（数据存储）HDFS(文件存储)ETL工具（informatic等）+MQ消息队列管理共享数据库元数据库学生教职工学校教学数据清洗、数据融合、数据标准化、数据交换数据共享交换数学模型（机器学习、分类算法等）数据管理运维与安全康赛维科新中新外部API数据互联网舆情数据PC浏览器移动终端平板电脑接入渠道大屏幕VR设备应用平台综合校情开放平台科研共享目录信息库网格化管理网络人群分析舆情监控贫困生测评身心健康测评……资产/设备校友财务办公……青果开发者平台大数据共享分析平台应用封装可视化工具数据封装西华升腾汇文……

全面的数据接入与存储集成ETL、Flume、Sqoop、Gobblin和SparkStreaming等多种非结构化、半结构化和结构化数据接入工具组合。情境1：数据只加载入Hadoop平台情境2：数据除了加载入Hadoop平台，也有其他系统需要加载情境3：数据加载后要同时满足流式实时处理和Hadoop离线批量分析，支持毫秒级或秒级计入方式数据源FlumeSqoopGobblinHadoop数据源FlumeSqoopKafkaHadoop系统数据源KafkaStromorSparkStreamingKafka实时系统Hadoop

可视化的数据资源管理数据库抽取API互网络实时数据信息资源登记信息资源管理资源信息发布信息资源服务学生主题业务视图资源视图主题分布发布审核内网门户外网门户资源下载服务接口大数据平台支持多种方式的数据采集，对采集的数据通过业务