信创大数据项目的数据服务建设方案.docVIP

项目建设方案 一、项目主要内容，方案架构 1.1.信息技术应用创新环境的数据治理服务及可视化展示平台研发 为有效便捷地采集、汇聚、治理和分析各类政务、企事业单位等涉及工业和经济运行等数据资源，本项目将研发一套基于信息技术应用创新环境的数据治理服务及可视化展示平台，对政府部门的数据自动智能的数据汇聚、融合、治理、共享服务、管理以及可视化展示等，形成有用易用的数据查询、统计、可视化能力，进一步挖掘和发挥数据价值，为领导决策、经济研判等提供信息化工具支撑。 1.1.1系统平台主要功能设计 序号 功能模块 功能点 1 数据标准管理 主要包括：标准分类管理、标准创建、质量规则设置、标准维护、标准映射。 2 数据连接管理 主要包括：数据库连接、文件数据源连接、服务数据源连接、数据资产库配置 3 数据建模管理 主要包括：库表建模、文件建模、自助建模、SQL建模 4 数据更新管理 主要包括：更新策略管理、更新任务管理、数据断点续传 5 数据分类管理 主要包括：数据文件夹管理、文件夹权限管理。 6 元数据管理 主要包括：元数据采集、元数据设置、关联映射标准、质量规则管理、元数据展示、元数据搜索。 7 主数据管理 主要包括：主数据定义、主数据查询监测。 8 数据血缘分析 主要包括：血统分析、影响性分析、全链分析。 9 数据质量管理 主要包括：质量规则设置、校验任务管理、质量规则校验、质量监控分析、数据比对处理、问题数据修正。 10 数据服务管理 数据服务发布、数据服务目录、服务订阅申请、服务审批和管理、数据查询与推送、数据服务监控。 11 数据资产管理 平台全景一张图、数据地图。 12 数据可视化展示 、自助查询图形可视化、报表展示、大屏展现。 13 系统管理 用户管理、组织机构管理、角色管理、权限管理、日志管理。 1.1.2数据标准管理 标准分类管理 提供对数据标准分类管理功能，支持直接在标准分类树上进行标准分类的新增、修改、移动、删除。 标准创建 提供数据标准创建功能，包括设置标准名称、所属分类、说明、状态、质量标准等。 质量规则设置 提供标准的质量规则设置功能，用于设置标准所应用的数据质量规则。能够设置的数据规则具体包括以下四类: 1、基础规则：设置标准的基础规则，包括空值校验、唯一性校验、数据长度校验，空格符校验； 2、数据格式：设置标准的数据格式要求，包括日期、时间、数值、货币等数据格式； 3、数据范围：设置标准的值域范围，支持录入范围和引用表字段范围； 4、表达式：通过设置正则表达式来校验标准应用的数据是否合规。提供内置的常用表达式，如身份证表达式，电子邮箱表达式等；支持自定义表达式。 标准维护 支持对标准内容和状态进行管理，包括查看、修改、删除、改变分类、停用、启用等。 标准映射 可以将制定的标准与实际数据进行关联映射，以实现数据标准的落地执行。可查看标准所映射的元数据。 1.1.3.数据连接管理 系统提供数据源连接功能，支持连接丰富的结构各异的数据源，帮助用户进行多样化的数据整合。一次建立数据连接后，便可随时抽取该数据源的数据进行建模、治理和共享服务。 数据库连接 系统支持可视化配置数据库连接，并进行连接测试。 支持连接的数据库包括：MySQL、达梦等主流关系数据库；Hadoop Hive等大数据平台； Redis等NO SQL数据库；Greenplum等MPP数据库；BW等多维数据库。 文件数据源连接 系统支持批量导入EXCEL、TXT、CSV等文件数据源，支持百万级数据一次性导入和分批追加。 服务数据源连接 系统支持连接Webservice、JSON等服务数据源。 数据资产库配置 系统支持一键将达梦等国产数据库连接配置为数据存储和治理的数据资产库，数据资产库原有的数据资产可被系统自动识别并归入数据文件夹中进行可视化管理。 1.1.4数据建模管理 系统提供可视化方式建立库表数据集、文件数据集、自助数据集、SQL数据集，帮助用户轻松建立满足业务需求的数据模型。 库表建模 系统提供可视化方式建立库表数据集，支持一键复制多个数据源的多张数据表结构和数据，实现高效的库表同步。 文件建模 系统支持根据EXCEL、TXT、CSV等文件格式建立文件数据集，支持数据批量导入和支持数据追加。 自助建模 系统支持使用图形化拖拽方式建立自助数据集，支持只用一个流程，将多个数据源与数据资产库中的数据聚合为一个模型，并提供字段选择、数据过滤、剪切字符串、行列互转、去除重复记录、值映射、计算器、字符串替换、合并记录等丰富的聚合能力。 SQL建模 系统提供可视化方式通过自定义SQL灵活建模，支持设置SQL的自定义参数，包括参数名、参数类型和默认值，帮助用户便捷地进行模型调试。 1.1.5数据更新管理 系统支持灵活设置数据更新策略，实时查看更新状态，