智慧教育-区域大数据决策支持服务平台设计方案.docxVIP

PAGE 2 智慧教育 区域大数据决策支持服务平台 设计方案 XXX科技有限公司 20XX年XX月XX日 目 录 TOC \h \z \u \t 标题 1,1,标题 2,2,标题 3,3 一 概述 2 二 数据中心 2 2.1 基础平台 2 2.2 数据存储 5 2.3 数据计算 6 三 数据整合 7 3.1 数据采集 7 3.2 数据调度管理 8 3.3 数据管理 8 四 身份认证 10 五 数据融合呈现 12 六 综合信息门户 14 概述 区域大数据决策支持服务平台能够实现区域内教育数据资源的集中采集汇聚，共享管理及联动分析，一致的数据应用服务。实现与各类应用系统的数据交换，对积累的数据资产进行有效的管理，并提供数据访问控制的手段，为多个系统的无缝衔接、业务融通和各系统之间的数据共享提供平台，保证数据的及时性、完整性和一致性。实现对区、校两级教育基础数据的实时互通，为深层次数据挖掘、数据分析提供重要基础。 数据中心 数据中心为整个大数据平台提供基础环境的配置管理、服务调度以及系统底层运行监控和告警处理。通过对计算、存储、数据服务的管理，保障各项服务正常、有序、稳定运行。 基础平台 平台以开源Hadoop作为底层分布式系统基础架构，以分布式文件系统HDFS和MapReduce算法为核心，为用户提供了分布式的存储能力和分布式的计算能力。同时，整合了Hadoop生态体系内的大数据组件，包含：Tez、Hive、Hbase、Pig、Sqoop、OOzie、Zookeeper、Infra solr、Kafka、Ranger、Spark、Superset等，通过各组件协同，能够轻松实现PB级数据的处理，助力区域用户实现大数据应用价值。 平台概况 基础环境指标监控 通过对全平台的磁盘、内存、网络、CPU、集群等等基础环境的指标监控，以可视化图标形式全面呈现平台整体运行状态。 可根据时间范围的选择，查看指定时间范围内的平台运行状态。 指标阀值设置 平台监控指标可自定义预警阀值，根据监控阀值设置，系统进行智能预警处理。 历史配置管理 基础平台的每次配置变更，都会以历史配置的形式进行保存和记录，方便管理员进行配置追溯。 服务管理 对大数据基础平台所有配置的基础服务组件（Tez、Hive、Hbase、Pig、Sqoop、OOzie、Zookeeper、Infra solr、Kafka、Ranger、Spark、Superset等）进行配置管理、启动、关闭、重启、状态检查、指标查看等，保障服务组件健康运行。 组件状态 对当前服务组件的运行状态进行查看，包括服务的起停状态、运行时间、内存使用率、节点状态等。 组件热力图 根据组件内相关指标的设置，以热力图形式查看每个指标的状态。 组件配置 对组件中的项目配置项进行管理，包括节点内容、磁盘空间等等。每一次的配置都以一个配置版本的形式进行保存，用户可选择对应版本的查看对应的配置信息。 测度 对组件内的相关服务指标以图标形式进行状态呈现。可选择相应时间段，查看对应的指标信息。 组件管理 对组件的运行状态进行变更，包括开启、停止、重启、运行检查、卸载服务等。 主机管理 对运行大数据基础服务组件的硬件主机环境进行监控，查看主机所承载的组件信息以及主机的负载信息。 主机整体概况 对当前大数据环境所使用的所有主机信息，以主机列表的形式进行概览信息查看。概览信息包括：主机名称、IP地址、机架名称、CPU核心数、内存、磁盘使用情况、负载均值、版本、承载组件数量。 集群概要 对当前集群主机进行统一管理，包括开启所有组件、停止所有组件、重启所有组件、设置机架、删除主机、检查主机、下载配置、恢复主机等。 对当前主机集群所承载的组件列表、主机状态指标（包括：CPU使用率、磁盘使用率、负载、内存使用率、网络使用率、进程、运行时间等）、主机基本信息（包括：主机名、IP地址、机架、操作系统、CPU核数、磁盘、内存、负载均值、心跳等）信息进行查看与管理。 配置 对当前主机所承载的所有服务组件进行配置管理。 告警 对当前主机所有产生的预警信息进行查看。 版本 对当前主机的配置版本信息进行查看，每一次的配置变更，都以一个版本的形式进行留存。 告警管理 平台对大数据基础组件服务的所有告警信息进行集中统一的管理。 告警配置 为平台组件服务配置相应的告警组，以及相应的通知信息内容、方式和人员。 告警组 为每一个服务管理告警组。查看各个服务的告警组列表以及定义的配置信息。也可以添加或者移除告警定义，为告警组挑选通知。 告警通知 设置告警通知的方式及人员信息。 告警查阅 以列表形式查看平台所有的告警信息，包括状态、告警定义名称、服务、上次状态改变、当前状态。 系统管理