数据融合平台白皮书 - 东方通.pdfVIP

数据融合平台白皮书 北京东方通科技股份有限公司 数据融合服务中心 2015 年 3 月 数据融合平台白皮书 一、 平台定位 构建以管理对象为标识的数据融合模型，利用元数据管理、任务 驱动、目录服务和大数据计算等技术，建立数据融合平台，以满足智 慧城市大数据中心和智慧行业应用数据中心，对海量繁杂数据资源的 多维度按需查询抽取的需求。 平台提出管理对象概念，即实际业务管理过程中的业务实体对 象，包括人员、组织、设备、建筑物、基础设施等，管理对象在其生 命周期内，必须拥有唯一标识。融合数据建立在虚拟现实基本观点， 从逻辑上，将业务系统的相关业务数据，关联至每一个管理对象，只 要业务应用系统存在对管理对象相关信息，业务人员，就可以直观监 测分析管理对象的各种变化状态。 二、 平台架构 第2 页 共5 页 数据融合平台白皮书 1、对数据中心的融合数据资源实现统一的元数据管理和目录资 源导航（数据、服务目录）管理； 2、利用元数据技术，实现融合数据模型和服务数据模型的管理； 3、对上层应用提出的复杂查询分析需求，自动生成大批量融合 数据的抽取任务，并实现任务的配置和监控，由任务管理引擎解析任 务，最后由大数据计算引擎执行数据抽取处理。 4、平台由多个组件构成，可以在同类项目中复用，减少实施工 作量。 三、 平台支撑的应用需求 1、业务状态实时监测 选择状态类、状态，用户自定义监测状态值的预警阀值，实时监 测业务数据状态变化关联查询。 2、共享信息关联分析 同一对象在不同业务域各类状态的关联，不同时间段，一个对象 第3 页 共5 页 数据融合平台白皮书 在这个表状态和另外表状态之间的比较，定义：查询条件，作“与” 计算。每个表单独选择定义，在以对象关联所有状态。举例：低保对 象死了还领低保。 3、事件维度比重分析 所属记录占总记录的比重多分枝分析，选择一个业务节点多维度 比重分析，业务主节点、地址、时间、对象、分类值、状态值。维度 定义：某个维度的记录数占所有数据记录数的比重。 4、数据挖掘分析 多对象状态融合、钻取 针对主题表进行挖掘分析，针对对象 的分析。已知一组对象，在各业务域与之关联的所有状态，多层级挖 掘。挖掘任务代码：一个主事件。举例：事故原因挖掘事故车辆，再 挖掘维修状态，再挖掘维修工。 四、 平台的功能 1、元数据管理 元数据维护需要维护基本的数据定义关系，目前包括融合库元数 据、业务域元数据以及服务库元数据三个部分。 2、数据目录服务 目录服务提供了对融合平台提供的数据服务内容的描述，包括融 合数据目录、服务数据目录。 3、数据查询 数据查询服务提供了对融合数据平台数据快速探查的一种方式， 通过定义显示的具体内容以及相应的约束条件，融合平台筛选出相应 第4 页 共5 页 数据融合平台白皮书 的查询结果供查看、下载。 根据数据查询服务提交查询请求，融合平台转换为相应的查询任 务即时运行后进行结果的呈现。 4、任务管理 任务管理提供了对融合平台数据查询任务运行情况的监控，包括 任务类型、任务名称以及相应的任务描述信息。任务的来源为相应的 服务库生成任务或者即时的数据查询任务。 5、数据台帐 数据台帐展示了管理对象在相应的状态表中的记录情况，元素包 括对象的基本信息、状态表中的记录数，数据记录的最早、最晚时间 等信息。 台帐包括台帐定义、台帐展示两个部分