ExaData和传统存储.pptx

ExaData vs 传统存储Maximize Usage of ExaData Storage:Unstructured Data Principle Sale Consultant Oracle Spatial Specialist 顾学明 背景 挑战 性能和存储容量的矛盾 容量 预算内配置满足性能要求，容量不够 需要配置传统存储，预算仍然不够 客户：我这个项目数据量大，性能要求没这么高 性能 有预算，但容量要求没这么高 能否利用剩余的容量，浪费了怎么办 客户：我拿高性能服务器和存储来堆好了 容灾 存储还是数据库？ 能否进行设备利旧？ ExaData是智能存储，竞争来自传统存储！ 背景 What make ExaData Different? 无需第三方卷管理 自动负载均衡无需人工条带化 可伸缩，自动优化 并行I/O 非结构化组织和管理 Oracle Automatic Storage Manager Disk 0 Disk 1 Disk 2 Disk 3 Metadata Data ExData as StorageI/O实例，备份 容量 1.2 TB 57 GB 时间 31 分钟 20 分钟 平均备份速度：2.3TB/小时（1.2 TB的容量测试场景） 理论测算： Low level IO 带宽：18T/HNode 磁盘： 288G/HDisk Per Cell ：288*12=3T/HNode ¼ Rack: 9T/H ¼ Rack Copy(Read+Write): 9/(1+3)=2.25T /H 类别 结构化空间数据(G) 文档 说明和依据 基础地理 1:50000 100 - 国家测绘局 全国800G 1:10000 300 内蒙测绘局 1:2000 200 城市地区 遥感影像 3600 按1m分辨率，如采用有损压缩，在包含金字塔的情况下2T 基础地质 1:50000 100 地质调查局 基础矿产 矿产地成矿带 10 省地质调查厅 地质灾害 10 省地质调查厅 矿产 矿产规划 10 矿权 10 100 土地 土地 现状调查 100 10 全国500G 用地规划 10 农田保护 10 地籍 农村地籍 30 城市地籍 50 审批业务 土地 用地审批 10 200 矿产 矿权 10 200 综合监管 50 业务流程控制 50 用户和流程管理 地图切片 类型 大小 说明 影像 2000 大概到1:2500级别，10%的压缩率(JPG JFIF)，包含金字塔。25% 存储效率 线划 2000*4 大概到1:2500级别，10%的压缩率(PNG Deflate)，包含金字塔。 假定需要4个不同专题, 25% 存储效率 Oracle 数据平台 案例: GIS应用系统 地图切片缓存 数量多 数据量大 性能要求高 要件管理 版式文档 扫描件 真实/完整 愿景 一体化的数据管理 数据库是支持所有的数据管理要求的平台：非结构化 安全的，可企业化管理的数据管理平台 理由: Oracle SecureFile：安全的，一致完整的存储机制 全文检索，现成/免费/商业化支持 DBFS：可以用数据库维护的文件系统 需要解决问题： 内容网关 TCO: 数据压缩 内容网关 HTTP下载 数据库到浏览器的直接通道 浏览器内容展现 数据库上的MIME PDF/Image/MS Doc/SVG 第三方插件：如AutoCAD…. ZIP 应用及内容支持 GDAL/HDF … 数据压缩的意义-以图片为例 1M和100K没有区别，但1P和100T的区别是巨大的 下载时等待20秒没问题，但浏览时等待20秒有问题 影像特点和结构化数据（混合列压缩）有区别 独特处理流程算法可以带来惊人的效率 数据压缩的意义-GIS Raster 50G+200M 2G+2M GDAL VFS for Oracle Secure File Oracle 数据平台 一体化空间信息系统数据平台 STATE_NAME CAPITAL GEOM CALIFORNIA Sacramento TEXAS Austin Web Gateway DBFS Driver Oracle Automatic Storage Manager RDBMS Datafile, LogFile… OCFS2(Linux Only) 多节点共享同一卷 无需昂贵的卷共享软件 Oracle VM image 非结构化组织和存储技术 Oracle 11gr2 Secure File 非结构化存储机制 性能上某些场景甚至优于文件系统 功能上支持（可选） 加密 压缩 重复检测 非结构化组织和存储技术 Oracle 11gr2 Secure File/DBFS 数据库管理 档案元数据+文件管理 方法 采用数据库