数据抽取任务管理.doc

中机国际招标公司 CMC INTERNATIONAL TENDERING CORP. 地址:中国北京市丰台区西三环中路90号通用技术大厦10层 邮编:100055 传真:010 附件：投标人资格条件和采购文件技术需求主要内容 投标人的资格要求 （1）投标人应具备《中华人民共和国政府采购法》第二十二条第一款的规定； （2）投标人应具有国家保密局颁发的涉及国家秘密的计算机信息系统集成甲级资质或软件开发单项资质； （3）投标人应具有软件企业认定资质； （4）投标人应具有ISO9001质量管理体系认证； （5）本项目不接受联合体投标； （6）购买本项目招标文件。 二、招标文件技术需求主要内容 一.项目背景 随着公安信息化建设的发展，海量数据、协同应用、分布式共享正成为公安信息化建设的发展趋势。大数据时代背景下，以分布式状态存在于公安信息通信网络内的数据资源已经成为公安信息化行业的核心资产。与此同时，反恐维稳、部门协同等新业务形势的开展，使得公安部信息中心与各省信息中心之间的数据交换日益频繁，数据量级急剧升高。此外，大数据的应用需求，使得特定分布式数据的抽取汇集需求明显增加，传统基于同一层级的数据抽取手段已经难以满足目前的分布式数据抽取汇集要求。 因此，构建高效、可靠、易管理的数据抽取工具，完善配套的管理机制，实现分布式数据的抽取、汇集和整合，成为公安信息化部门亟待解决的技术问题。 二.建设目标和任务 2.1目标 建设分布式数据抽取工具，部署于部、省两级信息中心，实现具备配置、抽取、监控、日志跟踪等完善的数据抽取任务管理、数据抽取传输服务、数据抽取监控服务功能，构建高效、可靠、易控的分布式数据抽取机制，进一步提高公安数据汇集能力，夯实数据分析、大数据运算等信息化基础，提升公安信息服务能力。 2.2任务 1、在公安部信息中心部署数据抽取任务管理模块，在32个省级节点部署数据抽取传输服务，实现部级下发抽取任务指令，各数据抽取执行程序完成数据抽取并将抽取结果传输至部级信息中心。 2、建设数据抽取监控服务，实现数据抽取入库等过程的监控功能，实现数据对账功能，确保传输源和目的数据一致。 三．业务需求分析 分布式数据抽取工具由一整套公安标准规范体系支撑，既需要实现数据抽取传输功能，又要求按照标准化的操作流程和规范进行数据抽取的状态监测、进度控制、故障排查等。同时，通过数据标准规范体系对数据资源类型、数据项集及外部服务接口进行统一规范，贯穿分布式数据抽取工具应用的各个层面。 3.1数据抽取 数据抽取传输服务涉及32个省级信息中心的分布式数据资源，按照业务应用需求提供指定范围、指定种类的全量或增量数据资源的抽取服务。数据抽取要求任务可配置、进度可监控、数据情况可上报。针对抽取时数据项可能存在的不一致、不相符问题，要求能够实现灵活、自动的数据格式转换。能够实现从源数据库端抽取，经过专用数据传输平台上传至部级信息中心，并将数据存储于部级云存储中。 3.2数据抽取任务管理 数据抽取任务管理包括抽取配置管理、数据规范管理、运行参数管理、数据接收管理、规范同步管理、任务调度管理等。通过对数据抽取任务执行的生命周期各个环节进行管理，实现准确、高效的数据抽取。 任务调度管理能够按时间、预设条件等要求实现任务的调度执行。 规范同步管理应做到数据规范的一键下发，各省级数据抽取服务自动匹配识别，并按照数据规范抽取、打包。 3.3操作交互展现 分布式数据抽取工具交互界面的设计力求简洁、明了，既要符合业务执行的标准化流程，完成功能性任务，又要符合良好的视觉审美要求，应采用流行的界面展示方法，增加动态交互效果。 业务执行进程、任务调度等管理界面应能够明确反应业务执行流程的生命周期各阶段情况，避免理解二义性。 日志察看功能要求支持多维度查询，支持日期选择、关键字模糊查询等功能，并实现日志文件的导出。 四．建设内容 4.1数据抽取任务管理 4.1.1抽取配置管理 实现抽取任务的系统配置信息设置，包括任务配置、数据传输配置、规范同步配置、系统参数配置等。 （1）任务配置，提供对抽取的资源类型，抽取条件，执行单位以及抽取任务的执行计划等信息进行配置。 （2）数据传输配置 数据传输管理实现对数据传输文件名称、格式、是否加密、传输方式、传输机制等进行配置管理，配置和指令信息将通过服务总线下发至数据抽取传输服务的数据传输模块，实现对数据传输信息的统一管理和配置。 （3）规范同步配置 通过该配置功能设置数据规范同步的范围、时间和内容，可设定自动同步和手动同步两种形式。 4.1.2数据规范管理 分布式数据抽取工具需要在全网范围内制定统一遵循的数据规范以保证抽取数据的统一性和规范性，确保抽取汇集的数据可用性。 4.1.3运行参数管理 （1）