(数据分发平台 .pptVIP

数据分发平台培训 2008年10月20日 培训大纲 数据分发平台(DSP)简介 flowline功能介绍 BI接口在flowline上的实现 组任务组件功能介绍 数据分发平台的设计目的 给BOSS框架之外的其他的外围系统提供所需数据(举例：BASS-经营分析系统 大客户系统) 减轻BOSS各业务在线系统的压力 和1.0的比较 使数据提供方式更灵活 在和第三方厂商协商好相关规范之后，开发工作迅速简单 数据分发平台的主要功能 DSP 根据实际的需要对源文件（表）进行数据处理节点转变成新的文件（目标文件）存处到另一个指定的位置。主要实现了数据的的拷贝、复制、分流、过滤、分组等功能。 如下图： flowline功能介绍 flowline基本原理模型 一个处理器有1个输入库，可以有1…n个输出库, 库是连接处理器与处理器的桥梁，一个库可以作为多个处理器输出，但只能作为一个处理器输入。 数据分发平台框架 数据分发平台框架 数据分发平台 数据分发平台和其他系统的关系 工具下载地址 90:8080/flowline-ide/ 在点击此链接前确保你已经安装jre1.4.2以上版本 界面与控件介绍 界面与控件介绍 流程管理器： 作用是为了建立一个流程的名称也就是整个流程的一个名称。一般定义方法看其名知其流程图的作用。 eg：bibi st1_user_in,st2_person_month, trade_in 如果你想新建一个新的流程图，在菜单中选择文件—?新建流程定义—输入流程名、选择文件目录。 界面与控件介绍 资源库： 作用是创建全局资源类型与库，在用户创建一个流程后一定有源文件（数据库）与目标文件（数据库），而每个文件（数据库）都有不同的类型（字段的个数与类型）。 而全局资源类型的创建是为了方便建立流程图服务的。 界面与控件介绍 系统： 包括数据库与主机。它的作用就是为了创建、修改、删除系统的数据库与主机的。 在创建一个具体资源库时要指定主机和数据库的具体位置。 节点方法介绍 节点方法介绍 复制器：功能跟文件拷贝基本相同不同点就是他复制多个拷贝 分拣器：该节点的功能是：就是过滤符合要求的数据例如：有一个表（table）有若干字段（ID，name ,….）我们过滤ID小于10，放到缓冲池dst1中其它放到缓冲池dst2语句为：ID = 10? dst1:dst2。 数据分拣器 flowline处理器介绍 数据分拣器 将内存中的数据根据一定的分拣条件分发到不同的内存块中去。 分拣表达式：src.a==4?‘t1’:src.a==5?‘t2’:‘t3’ 数据分拣器 映射处理器 flowline处理器介绍 数据映射处理器 将内存块中的数据根据处理器中配置的映射规则 写到下一块内存中去，同时在映射过程中支持数据集的合并以及简单运算。 图： 数据映射处理器 节点方法介绍 批处理阶段、交付阶段： 批处理阶段是交付之前不能提交只能存在于缓存中，一般使用不多。交付阶段可以包含批处理阶段，两个节点是用来存放流程图的所有节点。 数据流：—是流程图的中各个节点的连接符也是数据流向。 关联： 缓冲池中的内容与一个或多个文件关联（这些文件存在某种关系）从而生成新的文件。（该功能还未能实现）。 如何完整的创建一个流程图 在系统框中添加一个新的主机地址为（IP）用户名与口令是可以进入该主机的用户。 如何完整的创建一个流程图 创建全局资源库类型 在资源库中建立两个全局资源库类型 （[BI接口]test经分互动、 [BI接口]test经分互动表（增量表，全量 表）） 分别为源与目标文件服务的 全局资源库类型 全局资源库类型 FLOWLINE支持的类型有：数值，字符串，日期 数值类型为最高19位、日期为8位、字符串类型不要超过255就可以了 整个流程 BI接口建设背景 在源系统与经营分析系统之间架起一座桥梁，屏蔽了源系统（源系 统包括：BOSS系统、客服系统、网管系统、OA、其他数据源等，下文所说源系 统与此同）之间的差异，最大限度地减少了经营分析系统集成商与源系统集成商 之间针对接口问题的重复讨论 接口单元的编码规则 BI接口文件命名规则 XX[接口单元编码][yyyymmdd][序列号].AVL 其中，“XX”为一位大写字母，表示接口数据文件的类型： I：一次性抽取数据文件 P：日全量抽取数据文件 A：增量数据文件 M：月全量数据文件 XX[接口单元编码][yyyymmdd][序列号].CHK XX[yyyymmdd].KPI BI接口文件命名规则 BI接口在flowlin