数据预处理技术在电信经营分析系统中研究.pdfVIP

数据预处理技术在电信经营分析系统中的研究 张扬 北京邮电大学电信工程学院，北京(100876) E-mail:yondchang@163.com 摘 要：数据仓库及其分析技术的出现,为电信企业提供了高效的数据处理能力，满足了 对海量数据的处理需求,为以后进行科学的决策分析提供了更好的支持, 因而在电信经营分 析系统中应用数据仓库技术成为一种趋势。 本文提出了集成运营商多业务系统离散数据的方案，并制定了数据抽取的统一策略，基本 解决了海量数据预处理时的低效高耗问题。 关键词：预处理,抽取,数据仓库,经营分析 1．引言 某省电信运营商在企业信息化建设过程中，建立不同的业务系统来满足管 理需求。但这些系统往往因为市场需求、设计理念、建设时间、平台选择等因 素的不一致性而导致系统间相互独立、信息分散等特点，从而形成信息孤岛。 具体的问题表现在： （一） 数据的问题 目前的业务数据分布在多个不同系统，如：渠道系统、计费、大客户系统 等，其它的数据分散在地市，系统不能直接提供。数据的集中度不够，形成了 信息孤岛。由于没有一个系统能整合经营分析需要的全部信息，这为数据的访 问和分析工作带来很大复杂度。 从数据采集的周期来看，大部分为每月一次，采集的周期过长，无法满足 经营分析对于实时性的要求，不能对瞬息万变的市场作出迅速的反应。 （二） 分析手段的问题 目前系统提供的分析手段严重不足，系统中所提供的分析手段大多是固定 报表，只能完成标准的统计功能，有些报表甚至需要手工完成。系统不能让用 户自定义报表，不能进行定制分析。 基于上述状况，我们提出在省中心建立独立于业务系统，面向分析主题的 数据仓库[1] ，从各生产系统采集经营分析所需的数据，通过统计报表、即席查 询、OLAP分析等技术手段实现业务分析和决策支持功能，使公司在信息的传递 与反馈速度、信息的广度与深度、信息的统计与分析手段、信息的使用效率等 方面有质的变化。 1 2.数据预处理方案 2.1 经营分析系统架构及数据流图和ETL过程 我们先介绍某省经营分析系统的架构，分析数据预处理的规则，然后提出 数据审计和元数据管理方法。 经营分析系统如图 1 所示： 图1.经分三层结构图 其数据流图如图2所示： 图2.数据流向示意图 2 源系统的数据以标准接口文件（SIF）等方式，通过通讯服务传输至经营分 析系统的临时工作区域（SA 或 ODS），再利用数据仓库系统强大的并行处理能 力和分时隙工作原理，把缓冲区域经过清洗、格式化的数据加载至中央数据仓 库。 中央数据仓库按照企业整体的信息模型、尽可能以最小的业务单元来组织 并存储数据，3NF 是最为常用和有效的方式[2]。这样既能保证数据访问的灵活 性，又可保证最少量的数据冗余。 在经营分析系统的实施过程中，对于某些主题的业务分析问题，可能会按 照主题采用数据集市的方式对数据进行进一步的组织，MDDB（多维数据库）则 是组织数据集市最为有效的方式。所以在数据仓库的基础之上根据分析需求会 创建相应的从属的数据集市。 根据某电信运营商的 IT 战略规划，未来某电信运营商的业务系统将集中为 BSS 、OSS 和 MSS 三大系统，数据仓库的数据将来自于这些系统。由于业务系 统的改造刚刚开始，因此现阶段经营分析系统的主要