企业大数据平台运维服务方案.pdf

企业大数据平台运维服务方案 目录 1. 运维方案3 1.1 概述3 1.2 运维服务方案3 1.2.1 数据层运维3 2. 其他功能描述50 2.1 其他优化需求50 2.2 非功能性需求50 2.2.1 范围50 2.2.2 可用性50 2.2.3 易用性51 2.2.4 可维护性51 2.2.5 低耦合性52 2.2.6 可伸缩性52 2.2.7 架构约束52 1. 运维方案 1.1 概述 优化完善和运维方案重点描述我公司在本项目实施过程中针对于大数据云 平台按照招标文件的要求是如何开展运维服务和优化完善先关工作的，将分别从 平台层、数据层、功能应用优化、数据服务优化等多个维度展开相应的叙述。 1.2 运维服务方案 1.2.1 数据层运维 数据层运维工作主要包括数据集成、基础数层、数据中间层以及模型挖掘层 的运维。 1.2.1.1 数据集成运维 数据集成过程是利用平台数据整合能力，将分布在不同系统、不同来源类型 的数据统一传输到总局云平台。数据集成过程一方面不影响源端系统的运行，另 一方面遵循准确性、容错性、高性能的原则，根据数据治理的要求确保集成数据 的完整性、一致性、准确性、可延续性；并对重要数据进行周期性备份。 1.2.1.1.1 数据集成链路设计 基于目前总局、省级单位相关税收业务数据、外部交换数据、互联网采集数 据的分布特性，我们共设计了两大类8 条数据集成链路，采用相对应的技术工具， 将不同位置不同业务的数据源数据首先采集至云平台各项目独立存储区即镜像 层，再按需同步至国税总局基础层，最终实现云平台基础数据层数据的采集。如 下图所示： 一、第一大类：省级单位数据源集成链路 链路1：金三副本库集成：主要包含了核心征管、个人税收管理（主要为地 税）、工作流应用、日志数据等生产型业务数据。 链路2 ：特色软件数据集成：主要用于省局电子税务局系统的用户身份、行 为痕迹、审批流程、征管服务调用等数据进行集成。 二、第二大类：总局数据源集成链路 链路3：信用评级数据集成：针对总局二包集中的企业纳税信用评级数据以 及风险过程数据进行采集集成。 链路4：出口退税数据集成：针对大连龙图出口退税库推送至总局的出口退 税认证信息、申报信息等数据进行采集集成。 链路5：总局外部交换集成：针对总局外部交换集中的海关、工商、人民银 行、外汇局、银监会、代码中心、中机中心7 个第三方部门的数据进行采集集成。 链路6：发票底账数据集成：针对长软发票底账库推送至总局一包的增值税 普通发票、专票、电子发票、卷式发票，货运普通发票、专票、电子发票、卷式 发票，发票认证信息，机动车发票等数据进行采集集成。 链路7：互联网数据集成：以总局为节点采集政府公开公示、企业官网以及 财经新闻门户等互联网信息。 链路8：核心征管历史数据集成：针对总局电税中心留存的核心征管历史数 据（CTAIS1.1、CTAIS2.0、原上海税务、原西藏国税）进行采集集成。 目前数据抽取统一采用数据交换工具DataX，将数据按频度（日/月）、增/全 量方式抽取到云平台镜像层，再根据下游应用需求集成到基础层。核心征管目前 若记录数超过500 万的表一律采用增量方式抽取，反之采用全量方式；增量方式 抽取的表先将数据抽取到临时区，再与上一天镜像区的全量进行合并，形成当天 全量存储到镜像区。核心征管系统、个税系统、发票底帐系统、外部交换系统的 表每天0 点开始将T-1 日数据抽取到镜像层；信用评级数据、出口退税系统的数 据每月 10 号将上个月数据抽取到镜像层。互联网、风险过程、千户集团、电子 商务这四部分数据根据需求按次集成；老的征管历史数据是单次集成到云平台， 以后无需再集成。 核心征管系统及个税系统数据均来自副本库，因此利用我们开发的 check_data 脚本首先检查副本库是否有延时，当天数据完全同步过来后再进行 数据抽取，防止数据未同步完成就开始抽取数据而丢数据