智能信息生命周期理论及在电信支撑系统数据中心的应用.pdfVIP

(2010信息通信网技术业务发展研讨会》论文集 智能信息生命周期理论及在电信支撑 系统数据中心的应用 崔希宁 中国移动北京公司信息系统部 【摘要】 随着电信企业数据中心规模的增大，ILM理论和系统 越发成为企业lT构架的基础部分。各电信运营商依据ILM概念 进行数据清理，数据“瘦身”，以提高系统的性能降低存储的整 体成本。探索各种信息生命周期的理论实践。但目前对于ILM 缺乏统一的技术和功能规范，缺乏核心技术实现，其系统根据各 自原先系统差异性很大，没有统一的标准和规范，不利于ILM 系统的长期发展规划。本文提出智能ILM系统概念并结合移动 行业在“支撑系统数据分级存储”项目的具体实践，对ILM的 功能技术规范进行总结，对核心技术实现进行归纳，提出智能 ILM系统概念的实现技术。这种概念和关键技术的应用，带来了 ILM概念的全新实践。 【关键词】 生命周期理论 生命周期自动识别机制快速数 据流动机制和实现技术 1．智能ILM理论背景 随着数据库应用和服务器管理技术的不断发展，信息生命周期管理(ILM： Information LifecycleManagement)和历史数据归档已经成为当前主流的系统 瘦身技术。该技术通过历史数据与生产数据的分离和分级存储，达到减轻业务系 (2010信息通信网技术业务发展研讨会》论文集 统压力，提升数据库应用性能的目的，大幅度降低了历史数据带来的总体占用成 本，提高了在线业务系统的运行效率。但在ILM实施过程中往往遇到数据迁移效 率不理想，历史数据再利用要新开发量等种种问题。 本文总结ILM在通信行业实践的问题和经验，研究了ILM系统功能规范和标 准化，并解决信息生命周期识别，一致性识别，快速数据迁移，透明视图访问， 业务变更自适应访问等关键技术，提出智能ILM系统的概念和技术。 2．智能ILM理论的核心功能 关于ILM系统的功能规范，在广泛归纳数据生命周期面临的问题，挖掘出ILM 系统需要实现的基础功能规范： 功能要求一：数据分级管理的核心是对某一业务相关数据保证完整性基础上进 行清理／恢复，具备元数据完整性检查功能，实现业务数据生命周期属性策略的配 置管理，任务过程管理，策略实施监控。 a． 完整的业务数据属性管理：实现对应用系统的业务数据项进行定义，业务 数据项之间具有各种不同的关系，如：前后阶段数据的父子关系、分发数据问的 引用关系，以及主业务数据和附属业务数据之间的主从关系等 b． 灵活的数据迁移策略定义：数据迁移是将业务数据从一个状态向另一个状 态进行搬迁的过程。数据迁移支持多种迁移类型(文件到文件，文件到表、表到 文件、表到表)，本地迁移、异地迁移。数据迁移支持迁移数据过滤，并能根据不 同的迁移类型，可以定制不同的迁移方法。如：对于表到表的本地迁移，可定义 临时备份表名、迁移数量限制、前置脚本、后置脚本、定制迁移脚本等。 功能要求二：数据管理方案要构造在现有系统之上，结合现有系统的存储平台 和历史查询／归档系统，是一外挂的管理系统，支持各种数据存储形式：数据库、 文件等，和现有业务系统数据有灵活的接口方式，和现系统有灵活的接口，能够 自动适应系统变化带来的各种数据查询接口的变化。 功能要求三：满足现有数据清理的时间窗口要求，在不停机的业务闲时能够完 成高效高速数据迁移(清理／恢复)，且具备完善的过程控制，中断、暂停继续、 失败、恢复等功能，具备敏感数据转型、变换功能，数据迁移要具备生产低负荷 293 (2010信息通信网技术业务发展研讨会》论文集 和高速度的要求。 功能要求四：对迁移出的数据，提供各种保存方式包括数据库、文件等并支持 多种标准化的数据访问方式(sql、xml、文件等)，能够对在线数据和历史数据进 行联合访问，能够对应用提供历史和在线数据统一的查询接口，并且这一功能能 对应用层透明。 功能要求五：满足信息生命周期理论和价值观。 3．智