中国电信ODS规范培训讲课.ppt

系统技术特点 系统总体技术要求 网络与硬件方面 采用安全可靠的高速磁盘阵列设备，支持多机高可用群集系统，磁盘阵列与主机系统采用SAN方式连接； 采用高速可靠的网络设备，提供高速的I/O能力； 主机支持多机群集或海量并行处理技术，支持分区技术； 主机采用高可用性(HA)和负载均衡的方式，防止单点故障，提高系统可用性和系统资源的使用率。 软件方面 选择对OLTP和OLAP应用都具备稳定处理性能的数据库引擎； 选择能对数据整合过程进行有效监控和管理的数据整合工具或技术； 选择提供各种接入方式的报表查询和统计分析功能的报表工具； 选择为业务处理、技术实现等环节提供清晰的系统导航功能的元数据管理工具，； 采用能对系统内的软硬件节点进行监控和自动预警的系统监控软件； 制定完善的备份与恢复策略，采用成熟的备份软硬件，提供快速备份与恢复功能； 为了满足数据的高速加载，系统需进行相关优化操作，优化数据抽取调度策略，避免CPU、Memory、IO等资源的争抢，设计良好的数据文件/表空间/数据表存储规划，保证数据在磁盘的优化分布。 系统技术要求－数据整合 系统技术建议－数据整合 系统技术要求－数据存储 系统技术要求－数据存储（续） 系统技术建议－数据存储 系统技术建议－数据存储（续） 系统技术要求－数据应用 系统技术建议－数据应用 系统技术要求－数据共享 系统技术建议－数据共享 实施原则 实施建议 实施进度 实施步骤 模式演进 ODS业务应用蓝图 ODS数据共享 应用示例统一客户视图数据提供 应用示例销售品推荐的数据支撑 应用示例号码百事通等系统数据提供 ODS应用 应用示例客户积分计算 数据质量管控流程示例 QA 整体规划、分布实施： ODS是ITSP中的IT整体架构的一个组成部分，也是CTG-MBOSS的一个重要组成部分，是实现松耦合、模块化的IT架构，以快速实现跨域数据共享和应用的需要。在ODS建设过程中要注意保持ODS目标架构遵循ITSP整体架构对ODS及周边其它系统的定位，明确原有系统域上实现的跨系统数据计算、实时性较低的运营报表提供、监控预警等功能要逐步向ODS过渡的演进原则。 由于ODS是一个跨系统的数据共享平台，涉及的系统和数据非常多，面向的应用领域也非常广，不可能一步到位的实现所有功能。因此需要在遵循整体规划的原则下，按照业务需要的紧迫程度分步实施ODS。在具体建设过程按照规范总册中明确提出的“数据整合阶段、应用开发阶段和完善提升阶段”三个阶段的演进步骤，遵循应用先基础、后提升，数据先核心、后外围的模式，不断提升生产运营支撑能力。 保护投资、讲究实效 ODS不是对原有生产系统部分功能的简单替换，而是对各生产系统支撑企业运营流程的一个重要补充；因此ODS的建设需要注意系统的范围和规模，按需建设，讲究实效，真正解决实际问题。对于已经应用得不错的跨系统应用可以先期保留，通过ODS首先在数据共享或数据提供方面进行优化，功能需要升级时再进行迁移。 对于已经建设EDW的省份，鉴于目前阶段历史数据的沉淀不够，市场营销策划与客户洞察等方面需求不旺盛，真正的数据挖掘应用开展不多，如果EDW的数据库产品、硬件设备及应用等方面符合ODS应用支撑的功能和性能要求（含数据共享和数据质量管理）的前提下，可以通过对EDW项目的扩充，从逻辑上分层，物理数据库分开的方式实施ODS。 统一模型、统一接口： ODS系统作为中国电信企业数据模型的落地系统，数据模型需要完全遵照EDM3.0数据模型的要求设计与实现，并将其作为省公司层面其他系统的数据模型标竿系统；ODS系统需要统一生产系统之间大量的一对一的准实时数据交换接口，减少系统之间接口的复杂度。 稳健推进、平滑过渡： 在平台建设过程中，必须对风险进行充分评估并合理规避，如：数据模型转换风险、功能覆盖性风险、数据迁移风险、数据质量问题风险、系统接口改造风险等，使平台应用能够正常上线，不影响业务运营。 加强管控，有序实施： 采用科学、严谨的项目组织管理，将懂技术、懂业务、懂管理的专家人员纳入到项目管控组织中，通过先进的项目管理方法使平台建设能够按计划有序实施。 模式一虽然符合集团IT规划总体要求，但由于系统部署在集团+省两级，对本地网业务人员来讲可能一定程度上存在业务支撑不够灵活，响应速度较慢等问题，不便于充分发挥本地网业务人员的主观能动性。 模式二既符合集团IT总体规划要求支撑系统的集团+省两级部署同时又能充分发挥本地网业务人员的主观能动性，更好地促进业务的发展，是推荐的目标部署模式。 根据经验测算，在实时性要求在秒级的要求下，1个业务处理约需要平均相当于3个TPC-C事务。 对于数据加载，平均处理3条记录所需的事务数为2，即每 3 条记录折算成为 2 笔TPC-