集团型企业数据采集交换系统的设计与实践.docVIP

精品文档，助力人生，欢迎关注小编！ 集团型企业数据采集交换系统的设计与实践 金鑫 于英涛 [摘 要] 文章以一个典型的集团型企业为例，介绍了数据采集的方案设计及工程实践。结合集团与下属单位的特点，进行完整的技术体系设计，明确了重点数据处理过程，支持全面数据采集的实现。 [关键词] 数字采集;数据处理过程;企业管理 doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2020. 23. 051 [中图分类号] F270.7 [文献标识码] A [文章编号] 1673 - 0194（2020）23- 0123- 03 1 项目背景 集团型企业是以一個实力雄厚的大型企业为核心，以产权联结为主要纽带， 并以产品、技术、经济、契约等多种纽带，把多个企业、事业单位联结在一起，具有多层次结构的以母子公司为主体的多法人经济联合体。集团型企业具有金字塔式垂直分层的组织结构，一般有一个能起主导作用的核心，这个核心可以是一个从事生产经营的法人企业，也可以是一个专门从事经营的法人企业，也可以是一个具有管理职能的机构，处于集团型企业的管理顶端，负责管控下属单位的治理结构、角色定位与职责、资源管控方式、绩效管理体系等。集团型企业在市场竞争中对于优化资源配置和分散风险具有无可比拟的优越性。每个下属单位又是相对完整独立的经营企业法人，接受集团的各项管理，又要独立开展业务。 数据采集是支持集团化管理的利器。数据采集又称数据获取，是利用一种装置，从系统外部采集数据并输入到系统内部的一个接口。数据采集的方法一般包括软件接口方式、客户端采集、网络爬虫、开放数据方式等。其中，软件接口方式数据可靠性与价值较高，但可扩展性有局限;客户端采集兼容性较强，但采集数据的实时性有一定限制;网络爬虫支持自动抓取互联网的程序或脚本，但容易受反爬机制影响;开发数据库方式简单直接，但安全性方面有局限。多种数据采集方式各有优势，应用场景也不相同。如何有效地与集团型企业管理特点结合，适应实际情况，实现有效采集，成为集团型企业信息化建设中的关键问题。 某集团型企业为了加强集团管控能力，在信息化建设方面加大力度，构建了较为完善的基础设施，具备了集团与各下属单位之间的网络联通条件，能够实现信息的无障碍传输。各下属单位建设了主营业务的支撑系统，能够支撑本单位业务的数字化开展。为了进一步加强宏观管控，构建集团一体化的数据采集体系需求迫切。 2 系统设计方案 2.1 集团端设计 集团端处于管理顶端，是数据采集的中枢，结合战略导向开展数据采集，构建统一的数据采集交换系统对各下属单位提供全面的数据采集交换服务，主要采用软件接口方式进行数据采集，具体包括：统一接收服务、统一验证服务、统一解析服务、安全传输组件、统一存储服务和统一安全审计服务，并将上报数据中的元数据写入统一数据存储库，如图1所示。 （1）统一接收服务：面向各下属单位提供数据接收的接口服务，各单位的前置服务区将通过该接口向集团前置汇聚服务区提供数据。同时，该服务提供状态反馈，数据传输状态的及时返回，并针对传输失败数据进行及时的消息提醒。 （2）统一验证服务：提供数据的格式验证、状态校验、完整性校验等服务，确保上报数据符合要求、完整准确。 （3）统一解析服务：提供数据的解析服务，解析数据包中的元数据、受控属性和版式文件，对上报数据包进行拆包，还原其中的元数据、版式文件等内容。 （4）统一存储服务：提供数据的存储服务，将解析出的元数据写入到集团，将版式文件存储到数据存储服务中，数据存储服务可以为磁盘路径、FTP、NFS、NAS、SAN等多种文件存储服务中。由各下属单位数据加密存储，未被授权的用户或系统管理员也无法获取数据内容。 （5）统一安全审计服务：对数据进行详细的日志记录，记录数据来源、数据用途、受控等级、受控范围、受控期限等内容，通过管理平台提供统计分析、操作追踪等服务。 （6）管理平台：提供前置汇聚服务区的配置和管理维护，统一配置各下属单位前置汇聚服务区接入信息，配置接入安全策略，防止非授权单位获得接入服务，确保访问前置汇聚服务区的服务器是可信服务器。 （7）安全传输组件：具体支撑数据的接收服务，并确保上传数据与各下属单位前置服务区上报数据状态一致。主要包含两个部分： ①同步队列：根据统一策略配置的定时器服务可以设置向各下属单位前置服务区传送接收数据，并建立数据同步队列。 ②同步-阻塞服务：根据统一策略配置的文件，对各下属单位前置服务区建立状态反馈服务，确保上传数据的状态一致，只有集团前置汇聚服务区反馈了数据上传成功