PostgreSQL和MySQL的存储层深度解析教案.pptx

PostgreSQL 和 MySQL存储层深度解析 存储与计算 , 引领数据处理的发展 PostgReSQL pk MySQL ：存储层对比 1 2 PostgReSQL 和 MySQL 存储层的优化 3 存储层，我们看重什么？ 看的见的文件仅仅是文件吗？ 看不见的管理者：表空间？ 2.1 2.2 2.3 3 1 什 存储与计算 , 引领数据处理的发展 ？ 什么引领着 数么在引领着数据处理技术的发展 4 文件系统 : 只存储无计算 数据库 : 既存储又计算 两个时代，五个阶段 存储的目的是为了计算 分布式数据库 : 分布式实时计算 第一代 Haddop 生态园 : 分布式非实时计算 武新 分布式文件系统 : 对大数据存储 单机时代 多机协作时代 阶段 1 阶段 2 阶段 3 阶段 4 阶段 5 5 1 存储与计算 , 引领数据处理的发展 存储与计算的需求 引领什么在引领着数据处理技术的发展 发展 6 2 PostgReSQL pk MySQL ： 存储层对比 存储层，我们看重什么？ 看的见的文件仅仅是文件吗？ 看不见的管理者：表空间？ 2.1 2.2 2.3 7 2.1 存储层，我们看重什么？ 存储层，三大能力 1 IO 能力 2 稳定性 3 存储能力力 8 比较项 PostgreSQL MySQL 数据管理单位 页（默认8k） 区（每区默认1M，一次可分配1--4个） 物理读写单位 页 页 使用方式 　 　 　 读数据到缓存区 读数据到缓存区 　 预读(Read-Ahead) 　 多范围读(Multi-RangeRead) 2.1 存储层，我们看重什么？ 存储层，三大能力 IO 能力 9 2.1 存储层，我们看重什么？ 存储层，三大能力 稳定能力 PostgreSQL 与 MySQL 都能长期稳定运行，包括存储系统长期的稳定运行 MySQL: Facebook/Google/ 淘宝 ... PostgreSQL: 腾讯 /Fujitsu/Cisco/NTT Data... . /about/users/ 10 64-bits PostgreSQL MySQL 数据库的个数 无限制 无限制 表的个数 无限制 无限制(InnoDB限制40亿张表) 单表的容量 无限制 理论上无限制(受限于OS) 2.1 存储层，我们看重什么？ 存储层，三大能力 存储能力 11 2.1 存储层，我们看重什么？ 文件大小受操作系统限制 12 比较项 PostgreSQL MySQL 每个表的数据文件个数 无数个 1个 单个文件最大尺寸 默认1G 受OS限制 单个文件初始大小 自动扩展到单个文件最大 自动扩展到最大 文件在外存的形式 filenode.1,filenode.2,etc 表名.ibd 2.1 存储层，我们看重什么？ 单表比较 13 2.1 存储层，我们看重什么？ PostgreSQL 单表容量示例： 单表 2GB*(1024*100 个文件 ) = 200TB/ 表空间 （ 64-bits 机器，实际上限为 2 的 64 次方 ) 次方） MySQL 单表容量示例： 受操作系统影响 , 单表容量就是外存文件大小 MySQL 依赖脱机配置参数 配置 系统表空间的容量 , 使用不方便且 IO 低效： innodb_data_file_path = /ibdata/ibdata1:988M;/disk2/ibdata2:50M:autoextend 14 实例 X 易的相册库： 150 亿记录， 分布在 8 个实例节点上， 单表接近 20 亿的记录， 单表 350G 的存储量 X 浪 60 亿单表的记录， 单表容量超过 1T 2.2 看的见的文件仅仅是文件吗？ cReate tablespace ts_a (...) cReate table t_a (…) … tablespace ts_a... 数据库 用户 SQL 外存 数据的存储 路径 目录 + 文件名 PostgReSQL/MySQL/..., 神秘的盒子 ? 15 2.2 看的见的文件仅仅是文件吗？ --PostgReSQL 1 存储结构 2 运行信息 16 2.2 看的见的文件仅仅是文件吗？ --PostgReSQL 存储结构包括了元 信息和用户的数据 1 存储结构 2 运行信息 运行信息与数据 库的功能相对应 17 2.2 看的见的文件仅仅是文件吗？ --PostgReSQL 用户 SQL 系统表 cReate tablespace ts_a (…) cReate table t_a (…) … tablespace ts_a... sele