数据中台助力疫情防控——以苏州市职业大学防疫应用为例.docxVIP

数据中台助力疫情防控——以苏州市职业大学防疫应用为例 摘要：面对突然爆发的新冠疫情,高职院校都针对自身特点制定了防控策略,其中最重要的部分就是了解人员在校园出入信息,借助信息化手段,可以非常便捷做到人员动向的掌握。不过,随着抗疫战线拉长,防控逐渐转为常态化,国家也开始倡导更低成本的精准防控。在这种背景下,单纯的上线新型设备或者采购独立的软件应用往往会成本较高,如何基于高职院校现有的信息化建设情况设计一套有效的疫情防控机制成为当前亟待解决的问题。本文以苏州市职业大学基于数据中台的疫情防控实践为例,阐述了如何利用数据中台作为核心,利用信息化手段辅助高职院校进行疫情防控,同时也总结了现阶段工作的不足之处,以期为高职院校数据中台建设提供参考。 0背景随着疫情的不断发展,高职院校常态化和持久化的防控对相关信息化建设提出了更高的要求,如何采用科技手段进行低成本和无感知的防控是摆在教育信息化工作者面前的一道难题因此,本文结合苏州市职业大学利用信息化手段辅助抗疫的例子,阐述了基于数据中台构建疫情防控应用体系的工作,同时也总结了其中的不足之处,试图深入挖掘数据中台在其中发挥的价值和作用,为今后高职院校相关的应用实践走向规范提供借鉴与参考。1 遇到的问题信息中心作为统筹信息化建设的部门,在本次疫情防控中遇到的问题主要有:1.1 数据整合困难疫情防控在高职院校内是一种综合性的应用,需要整合各个业务条线的数据,教师和学生基础信息、学生在校状态、学生请假、人员人脸照片、上网数据、各种刷卡、打卡记录。整合后的数据需要进行清洗和转化,具体来说,数据整合存在一定困难,体现在几个方面:(1)不同系统存在架构不同,部署方式不同(本地、云端)、建设时期不同导致的文档资料完备程度不同、提供数据的方式不同等。(2)疫情期间上线了大量软硬件项目,需要对这些软硬件系统产生的数据进行采集;同时,这些系统也提出了数据的需求,例如校门、宿舍的门禁需要获取高质量的学生、教师照片来进行人脸识别算法特征的获取。(3)数据标准不同,数据的质量差,如今数据作为一种资产已经成为共识,但是要真正发挥数据价值,还需要提高数据的易用性,而易用性的基础就是数据的质量。1.2 数据使用困难数据的使用困难主要是数据的共享方式、来源过多和数据质量导致的:(1)中间库与ODI、定时任务。以往的系统与系统间的数据共享方式大多采用中间数据库的方式,利用定时任务、ODI等集成的产品,进行数据库到数据库的同步,这种机制技术细节都掌握在厂商手中,院校的数据主管部门很难对这些同步作业去进行监管,出现的问题如果没有及时处理导致数据的不准确问题积压,久而久之,使得数据变得不可信。(2)同一个数据项,存在多个备份。由于数据的同步过程缺乏监管,导致了同一个数据项可能在多个系统中都存在备份,会形成以哪方的数据为准的新问题。此外,由于早期数据孤岛的存在,一些公共数据可能在很多系统中都存在备份,而这些备份可能是不完全相同的,这也会造成数据难以利用的问题。(3)质量低下,错误多。以上两点都会导致数据质量低下,数据难以利用的问题,另外一种常见问题就是手工导入导出,由于人工操作不可避免的疏忽,也会增加数据出错的风险。2 搭建数据中台智慧校园建设以来,苏州市职业大学积累了海量信息数据,但现有数据相对分散、标准不完善、共享形式单一、质量较差、难以利用。为了提升数据共享和数据资产管理,我校于2019年启动了数据中台项目,将各个业务部门的数据进行汇聚,首先形成ODS(贴源层),经过一定的数据清洗、加工后,再按照主题进行归类,形成全校级的数据仓库,最后根据业务场景细分,建成数据门户。使用方在有数据需求的时候,可以浏览数据门户,提出申请或需求,通过中台提供的标准化的方式进行接入,方便获取数据。数据中台架构如图1所示,包含以下几个功能模块:(1)交换平台与数据湖:交换平台负责交换作业的编排、部署、调度监控、数据服务的定义、路由和监控等功能;数据湖包含了通过集成得到的结构化、文件数据、日志数据等全量数据。(2)资产平台:资产平台是对采集到的数据进行数据资产编目的过程、主要体现在对于元数据的采集和管理,数据编目后关联到部门,形成数据资产。(3)服务平台:服务平台主要是可以针对资产平台和交换平台形成数据接口服务,针对服务可以进行权限管理、版本管理、注册管理和认证管理等。(4)数据门户:数据门户是面向一般用户可以开放的平台,可以让管理部门查看自己的数据资产,也可以将数据申请、数据需求的流程放置在此平台上,门户的设计隐藏了技术细节,使用更加能够让普通师生可以理解的设计方式。(5)管理规范:数据中台能够发挥作用,最重要的是形成数据的管理规范,包含了数据标准、数据的质量规范、