广电运营商服务营销分析系统建设的研究.pdfVIP

关键技术及应用实现 整个服务营销分析系统的体系架构如下图 1．翔蟹糕方式 服务营销分析系统与各业务生产系 统的接口主要有两种方式：包括文件方 式和库表链接。 1)文件方式 从各业务生成系统中将数据通过FTP 文件传输进行预处理和格式检查后生成 目标文件。 2)库囊连接 根据具体接口服务单元的定义， 其他业务生产系统和服务营销经营分析 系统分别定义为数据服务方和数据访问 方。服务方与访问方之间的通讯是基于 各自数据库的连接服务。系统之间的接 口数据由数据库的连接服务来实现，可 中数据的～致性，还要对部分数据进行 ●在抽取过程中进行数据处理； 以实现大数据量的批量传输。其中数据 聚集操作，提供数据仓库的查询和分析 _使用异步数据加载，以文件的方 库表的信息交互方式，技术较为方便， 速度。这些完整的、一致的、细节的和 式处理； 且开发成本较低，或其变更维护角快。 综合的数据才可以进入数据仓库。并根 ●在数据加载过程中进行数据处 其通信过程包括三种： 据数据仓库的设计要求，对数据进行重 理； 一主动读取。服务方负载不大，定 新的组织和加工，转换成数据仓库的数 一进入数据仓库以后再进行数据处 时开放数据表的访问权限，由访问方主 据库结构和内部形式并加载到数据仓库 理。 动发起会话，读取数据，写入本地。 中。ETL主要包括以下步骤： 3)数据的集成： _主动写入。访问方的负载不大， 1)数据的抽取和清洗 将多个数据源中的数据结合起来存 定时开放数据表的写权限，由服务方主 数据抽取是指将所需要的数据按一 放在一致的数据存储中。他涉及到实体 动发起会话，将数据写入。这种方式要 定格式从数据源中提取的过程。数据清 识别问题、冗余检测问题以及数据值冲 承担开放数据库写权限的风险。 洗包括对同步填写空缺的值，平滑噪声 突的检测和处理等各种问题。如地域维 _中间表。服务方和访问方，两方 数据、识别、删除孤立点，并解决不一 度，在GS数据库和在业务支撑数据库中 都不能承载直连的事务，由服务方将数 致来。清洗”数据。 就存在编码和值都不一致的情况。 据写入中间表，访问方则读取中间表。 2．印．技术 2)数据的转换 4)数据的装载 数据转换是将不同来源的数据， 经过转换的数据已经是按照数据仓 ETL主要包括：数据的抽取(Extraction 在类型、格式、编码规则等方面进行统 库物理目标结构规范后的数据，装载过 )、清洗(Cleaning)、转换 一、集成、规范化。为企业的分析、查 程是把这些数据导入数据仓库，装载过 r nafo 0 (Ta rmatin)、集成 询工作提供统一、一致、集成的数据。 程可以与转换过程同时完成，边转换边 o其功能 (Integration)和装载(Loading