企业海量数据库的优化.docxVIP

PAGE 1 PAGE 1 企业海量数据库的优化  当前大多数企业应用软件都需要数据库支持，而且数据库的规模在不断扩大，尤其用到数据仓库技术的商业智能化支持系统。面对大数据量，企业级应用的性能愈来愈依靠数据库的性能。对数据库性能要素进行全面的描述和分析，以便对数据库的选择、应用和基于数据库的二次开发供应工程参考。  从20世纪90年月中叶起，随着网络技术的突飞猛进，信息出现了爆炸式增长。今日ITB以上的数据库正变得愈来愈常见。美国放射的用于地球观看的卫星每年就发回1000TB数据；美国劳伦斯国家试验室的一项粒子碰撞试验每年产生300TB数据；美国数字图书馆每年的增加1TB的数据；通信业的数据库要求千兆字节以上；电子商务、产业信息化等企业级应用，尤其用到数据仓库技术的一类数据库，要求的支撑数据库也有几百、几千兆字节容量，如用于商业智能化的企业决策支持系统。  面对大数据量，企业级应用的性能愈来愈依靠数据库的性能，企业海量数据库优化的重要性日益突现。本文针对企业海量数据库性能，进行系统分析，提出参考策略。  现状和问题  随着我国经济发展，我们正逐步融入国际经济，发展成为世界制造工厂。这加快了我国现代制造业的信息化进程并出现了以下特征：  PDM（产品数据管理）系统中有大量的工程数据需要管理；  数据库的并行访问需求大大提高；  系统要求支持多用户协同工作。  抽取程序，将合乎标准的数据抽取到其他的文件和数据库，实现数据的分割，带来系统性能上的提高。但抽取程序导致了自然演化式体系结构问题（蜘蛛网）。除了数据分割减小数据规模，从硬件的角度考虑数据库性能问题，主要因素是处理器、HY3、内存和网络。推断硬件是否工作在最优状态，如何才能把硬件部件优化到最优状态，要求对每一种硬件资源有一定的了解。一般，遇到硬件瓶颈除了调整现有的硬件之外，还有可能需要增加另外的硬件才能解决问题。硬件层优化主要是：提高数据库系统物理的处理能力和吞吐量以大幅提高数据库性能。在数据量愈来愈大，并行访问的用户愈来愈多的状况下，经济有效地提高数据库系统的吞吐量和削减事务的响应时间成为数据库系统发展的关键问题。在企业级的实际解决方案中，在很大程度上应用合理与拒绝定数据库性能。要做到应用合理，语句是重点。是面向结果语言，用户只要学会抽象的,语句，详细内部实现由厂商实现并改进。然而详细应用是否合理却是工程人员的事情，而且应用合理与否对性能影响明显。  优化策略和技术———数据分割  数据协同表示  产品数据管理系统应为用户供应一个统一的数据源，在虚拟企业环境下，实现数据的全都性管理，电子数据可分散存储，但应供应数据的联邦机制，分散在互联网上的用户在对数据进行存取时，全部的数据对用户都应是透明的，这种位置上的透明性在PDM系统的电子仓库中实现。电子仓库对分散在虚拟企业中的数据建立一个统一的索引，指定数据单元存放的详细物理空间，并能对数据的增删和修改操作进行动态维护。在产品全生命周期的管理体系中，电子仓库应能保持数据的唯一性和全都性。唯一性指不同的用户在对同一数据单元进行操作时，通过网络传递的是数据的映像或者是一种参照关系，而不是通过复制来生成一个新的数据单元；全都性指数据单元的变更能准时通知到有关的工作节点，并且在数据变更时，供应一种加锁机制，保证数据版本的统一。  产品数据在物理存储上有两种方式：存放在文件数据库中；存放在关系数据库中。文件数据库通过文件管理引擎对数据进行管理，这些数据包括图纸、文档、三维模型、工艺文件等类型的数据，这类文件信息量较大，占用的存储空间较多，一般可以作为独立的信息单元进行处理，并可以存放在不同的存储设备上。对于产品数据中的结构化信息采用关系数据库进行管理，利用关系数据库结构清楚，组织严密的特点提高数据管理的效率。其数据协同表示如图所示。  数据规律分割  通常，制造企业处理环境是非操作型事务处理环境。可采用分布数据库，每个部门有自己的一个或几个分布式数据库，各部门的数据库要保持与公司的数据仓库同步，这样做有两个理由：企业资料的存档备份、版本掌握；为企业以后搭建决策支持系统做预备。当然，这样建立一个数据仓库会增加企业成本，依据企业详细要求，是否有决策支持系统的长远准备。关键点还是在于将公司数据库按部门分割成几个数据集市，缩小数据规模。数据存储规律结构如图所示。  数据仓库应用  对数据进行规律上的分割，旨在缩小数据规模，达到性能优化的目的。关键技术除了结合实际应用考虑分割标准、规律等，还有更为重要的是避免蜘蛛网现象出现。数据仓库体系结构对海量数据规律分割的启示是：在实现数据有效分割的同时，有效地解决