电信经营分析系统技术交流.ppt

目录 Part1 公司介绍 Part2 需求说明 背景 企业经营发展的结果 以业务为中心 话单量小、业务少、用户少 以客户为中心 大数据量、业务多、异构数据、决策分析 技术发展的结果 数据库与数据仓库 人工智能 数据挖掘 联机分析 企业信息化的四个进程 建设目标 建设原则 系统功能 支持与各种主流数据库平台、多维分析引擎、数据挖掘引擎和前端展示工具的无缝集成 开放的应用程序接口和工具 提供统一的数据仓库平台，支持后续应用和扩展 可定制化的客户界面 统一的用户和权限管理机制 主题分析及专题分析 Part3 解决方案 体系结构 1 数据源 数据源细分 临时存储区(Staging Area) 数据来源 首先直接快速传输到分段存储区，再从分段存储区经过清洗、转换、映射等复杂的数据移动处理转移到目标数据仓库中。 以保证数据的快速导入而尽量减小对业务系统造成的压力。 有数据库和文件二种方式，分别对应于不同运营系统的数据源。 数据集成 异构数据源整合 BOSS与经营分析系统的连接方案 ETL 环境和处理流程 3 数据存储层 基础数据仓库 数据来源 数据结构 3NF 星型结构 雪花结构 完整性和有效性检查，对冗余和不一致的数据进行了清洗和转换。 数据量将非常庞大。 数据集市 数据仓库的子集，主要面向某特定主题。 数据来源 对基础数据仓库中数据的复制、分布或聚合 数据结构 星型结构 粒度选择 数据仓库完整构架 4 数据访问层 信息处理 查询和报表 分析处理 基本的OLAP操作 数据挖掘 知识发现 5 元数据 关于数据的数据 技术元数据 操作元数据 业务元数据 贯穿全过程 元数据管理 系统安全 安全的层次 每个层次均需要相应措施保证 数据库、应用、网络 网络层 防火墙 电子认证 加密 安全层次 数据库层 密码 数据库权限控制 应用层安全 用户身份认证 按照操作对象和操作类别规定各操作员的权限 保证身份的有效性和不可抵赖性 采用口令＋密码方式，可以向数字证书升级 数据加密 服务和数据权限 容灾与备份：概述 什么灾？ 火灾、地震、洪水… 系统故障：硬件、操作系统、数据库... 应用故障：设计时考虑不周 误操作 黑客入侵、故意破坏 容灾方法 以备份系统代替主系统，并及时恢复主系统 数据复制 其它：地理分布，电源、网络等的高可用性 容灾与备份：数据备份策略 数据备份的层次 物理视图 逻辑视图（DB、数据库模式、应用） 数据备份的方式 联机复制 同步、异步、状态 脱机备份 防止“误操作型”灾难 数据备份的目标 一致性、当前性、可恢复性，尽量减少数据丢失及尽快恢复 容灾与备份：数据复制层次 Part3 解决方案 产品供应商 IBM Corp. Oracle Corp. SAS Institute Microsoft Corp. MicroStrategy Inc. CA Brio Technology Business Objects Inc. Cognos 产品供应商 Data warehouses OLAP Data mining Reporting, Querying and business intelligence ETL 数据仓库比较 IBM DB2 IBM数据仓库解决方案 IBM数据仓库的特点 提供大型数据库DB2作为数据仓库的存储数据库，DB2性能优异，提供从桌面机到工作站、小型机、大型机的良好扩展性 提供Visual Warehousing作为数据抽取工具，VW能够从广泛的数据源抽取数据，并且在大数据量的抽取中充分显示了速度优势 提供多维型、关系型两种Cube的实现方式 提供功能强大的访问Cube的查询语法 Query Script 在所有同类产品中提供最强大的分区功能 NCR Teradata Oracle Oracle数据仓库解决方案 Oracle数据仓库的特点 提供RDBMS和MDDB两种数据存储结构，Oracle功能强大，提供了良好扩展性, 提供了功能强大的系统管理界面 支持超大型数据仓库，并提供多种优化手段和针对数据仓库的特征，如分区，位图索引 提供功能强大的访问Cube的查询语法Express command 提供Oracle Warehouse Builder作为数据抽取工具，OWB提供功能包括：模型构造和设计；数据提取、移动和装载；元数据管理；分析工具的整合；以及数据仓库管理。具有开放可延伸的框架。 Sybase数据仓库解决方案 Sybase数据仓库的特点 按列存储，有很高的压缩比例 PowerMart能够在一个统一的界面中将用户定义的转换规则、Schedule、权限设置、数据源和目标等等数据抽取定义通过有效的方式管理起来，方便整个数据抽取工作的管理 Adaptive Serve