DatabaseSYstems主题五数据处理性能提升技术-湖南大学信息.PDF

Database SYstems 主题五： 数据处理性能提升技术 湖南大学 信息科学与工程学院 杨金民 2018.09 企业数据中心 数据就是企业 ：是企业最核心的内容 企业就是数据 ：全浓缩在拥有的数据中 要解决的问题 ： 高可靠 ：数据一致和不丢失 ； 高性能 ：速度快 ，吞吐量大 ； 高安全 ：不泄露 ，不可抵赖 ； 高体验 ：通俗 ，简单 ，友好 数据处理性能问题 • 企业数据集中存储在数据库中，海量的数据。从海量的数据中 查找和定位数据非常耗时。 • 数据集中存储后 ，所有用户都要来访问数据库 ，因此数据库服 务器的负载非常重。而且是很多用户同时访问数据库。 • 目前很多企业的数据库系统都因处理性能低下 ，超出用户容忍 范围而受到用户的非议与责难 ，影响企业的正常运作和发展。 • 提升数据处理性能可以从挖掘和利用数据特性 ，硬件特性 ，以 及访问特性入手寻找办法。 • 数据分类、数据排序、数据索引 ，都是提升数据处理性能的有 效方法。 3 数据处理过程 CPU l所有处理要由CPU完成 ，但数据全部存储在磁盘 上。CPU和磁盘很不匹配 ：CPU速度很快 ，磁盘 6 速度很慢 ，相差天文数字 （10 ）个数量级 ； Memory l磁盘有不可替代的特质 ：存储容量大 ；其上的数 据不受系统故障影响； l内存速度比磁盘高很多 ，起到缓冲作用 ，但其容 量比磁盘小很多 ，其上的数据在发生死机或停电 之类的故障时，数据丢失 ； Disk l数据库数据量通常比内存容量大很多 ； DBMS的数据处理模型 所有处理要由CPU完成 ，但 数据全部存储在磁盘上 CPU 虚拟内存在磁盘上的swap空间 大小应该配置为0 ， 否则会引 Private Buffer 事务私有内存缓存 起额外的磁盘I/O! Why？ Read Write Stable Input Database 全局内存缓存 Database Buffer output 内存量远远小于 Disk memory 数据库数据量 数据量巨大 ，散布在磁盘盘面空间中