希嘉·高等教育大数据整体解决方案-陕西教育信息化发展研究中心.PDF

希嘉 ·高等教育大数据整体解决方案 北京希嘉创智教育科技有限公司 （简称：希嘉教育）是一家专注于高校智慧校园大数据 开发与应用、数据服务与运营的创新型企业。希嘉教育通过对学校中沉淀多年的业务系统数 据、物联网与机器数据、互联网上数据进行治理整合和挖掘分析，打造开放的教育大数据生 态。目前，希嘉教育的产品与解决方案已在２０多所高校部署使用。整体解决方案价值如下： 打通数据壁垒，整合全量数据，推动智慧校园进程；让数据成为学校战略资产，支撑学校的 发展和决策。 一、整体解决方案构架 希嘉教育通过对学校中沉淀多年的业务系统数据、物联网与机器数据、互联网上数据进 行治理整合和挖掘分析，打造开放的教育大数据生态。 图１　高校数据开发整体解决方案构架图 二、核心功能 希嘉教育关于高校数据开发的详细解决方案如下，其中希嘉教育通过自己研发的七大类 产品实现了该架构的核心功能。 ５１ （一）统一数据管理平台 （ＵＤＭＰ） 统一数据管理平台在技术层面上，可以兼容承载学校数据中心体系架构中的全量数据， 并进行扩展，使得底层不仅能容纳现有的业务系统数据，同时也能存储各类日志和校外的互 联网数据；管理层面上，提供统一的数据标准，使得各类多源异构数据之间能够横向打通， 充分发挥数据价值；安全层面上，通过严格权限控制体系，保障数据的访问安全，以及访问 的审计；应用层面上，提供开发者体系，使得学校与学校、学校与第三方开发者之间能够通 过一个统一的平台实现应用模型的共享，打造高校应用生态圈。 图２　统一数据管理平台架构图 （二）数据治理工具 （Ａｒｃｈｏｎ） 希嘉的数据治理工具服务体系为支撑高校大数据平台，完成数据的标准化和规范化，从 技术架构上兼容传统集中式数据仓库架构和性能更加先进的分布式数据仓库架构，提供对传 统业务系统数据的集成、处理过程管理，包含数据标准管理、元数据管理、数据质量管理、 数据资产管理、数据安全管理等功能模块，对进入平台的数据进行标准化的规范约束，并以 元数据作为驱动，连接数据的标准管理、数据质量管理、数据安全管理的各个阶段，形成统 一、完善的数据治理体系，夯实高校的数据基础。 ５２ 图３　结构化数据治理流程 （三）日志处理工具 （Ｉｍｍｏｒｔａｌ） Ｉｍｍｏｒｔａｌ日志工具采用一套简便、直观的流程，将海量的日志数据从最初鱼龙混杂、混 乱无序的状态，变成了脉络清晰、维度丰富、重点突出的有效信息，并通过动态、直观的图 形进行可视化展示，让用户可以从中洞察事实、发现规律，或者提交到业务相关的系统中进 行进一步开发利用，实现 “数据驱动”模式的高效管理和科学决策。而这一切，并不需要用 户了解数据结构、程序开发等复杂的技术，只需要在图形界面中，点击、选择、拖拽，即可 完成上述目标。 ５３ （四）数据超市 希嘉数据超市系统可为高校的科研项目、学科建设和人才培养提供支撑。支撑内容包括 数据集支持、算法库、算法流程设计和可视化工具。平台中收录与科研相关的各种基础数 据，同时也可以综合利用学校内部产生的管理业务数据、日志数据等。平台提供各种算法 库，包括回归、聚类、分类、推荐等各种数据分析方法，并将算法通过流程引擎进行组合， 形成流水线式作业体系，帮助科研项目快速进行数据分析开发。该平台也可以为学校的数据 处理、大数据分析类课程提供丰富的数据素材、算法支持和可视化呈现。 数据超市目前有１２大类别５００余种超过１０ＴＢ以上的数据，封装了８０余种通用算法。 图４　可拖拽计算模型直接生成计算结果 ５４ （五）日志分析应用 在完成日志数据处理系统建设的基础上，可以建设若干基于日志数据的管理应用，包 括： １网贷行为分析 通过上网日志行为日志和ＤＮＳ日志，捕获网贷平台的访问数据，统计分析学生访问常见 网贷网站的访问行为，分析网贷网站的访问情况、访问频率和访问次数等、访问者身份，挖