v11重复数据删除.pptxVIP

V11重复数据删除苟正洪内存数据库提高重删性能直接将重复数据删除记录写入到磁盘导致很多性能问题.降低DDB重建时间V10中内存中的DDB采用非日志模式,仅仅当重删引擎停止时才写入磁盘.重删引擎只有在备份和数据老化作业完成后才停止,或者DDB备份时才停止.SIDB2 进程非正常停止会导致磁盘库和DDB的状态不一致.磁盘库和DDB hash签名记录如有大的差异,会导致长时间的DDB重构.内存数据库是在不影响DDB性能的情况下避免长时间重构的有效方法.为什么使用内存数据库?以事务处理模式运行DDB在内存中创建3个DDB表实例MemDB 2 – 活动（Active） – 从备份流中接受连接MemDB 1 – 关闭（Closed）– 空闲, 不再接受连接MemDB 0 – 合并（In Merge） – 提交完成的hash签名到DDB DiskDB每个MemDB实例包含20秒的DDB活动查询时使用所有的MemDB和DiskDB，但写操作只涉及活动MemDB第四个DDB表实例存在于DDB磁盘DiskDB – 从MemDB 0 （合并）接受完成的交易内存数据库如何工作?MemDB LevelsClean UpProcessMemDB架构- 插入MergeMemDBDDB CallsOn-Disk DB(Transaction Enabled)MemDB1MemDB0MemDB2Add / Update RecordsClosed - WaitingFor MergeIn MergeActiveDDB CallsQuery RecordsMemDB 架构 – 查询On-Disk DB(Transaction Enabled)MemDB1MemDB0MemDB2Closed - WaitingFor MergeIn MergeActiveMemDB LevelsMemDB InstancesDiskDB InstanceTable StructureUnique signature, location on disk, and block counterMemDB架构Primary TableIn MergeActiveClosedEach file contains 16 archive file references Secondary Table FilesPrimary TableZero Reference TableHolds signature when primary table counter reaches zeroSecondary Table FilesV11SP2时内存数据库是可配置的选项可在DDB创建或封存后时启用，因为新的DDB是空的使用独立工具将已经存在的DDB转换为内存数据库（即将实现）介质服务器需要至少32GB内存DDB必须放在固态硬盘传统的DDB仍旧是默认的配置内存数据库个数目前不能配置（默认3个）研发认为3个内存数据库实例从性能和健壮性来讲是最优配置内存数据库附加说明内存数据库是提升DDB性能的可配置选项除了DiskDB外,内存数据库允许3个DDB实例在内存中运行DiskDB以事务处理模式运行，提交变化到磁盘插入操作， 20秒的活动保存在每个MemDB实例中MemDB每20秒提交到DiskDB中已经提交的MemDB实例内容被清除用作新的插入操作查询操作， 所有3个MemDBs和DiskDB都会被查询到其他的内存数据库优势包括在某些场景下可缩短DDB重构时间内存数据库摘要增量重构不同场景（使用内存数据库)DDB不正常关闭（由于MA重启，人工干预或进程崩溃）增量重构 – 新特性DDB卷损坏或丢失传统重构DDB卷损坏或丢失， 且DDB备份不可用完全重构重构类型使用内存数据库后新的重构模式恢复阶段不需要从备份中恢复DDB 增加记录阶段跳过清除记录阶段，因为数据老化只使用DiskDB,内存数据库中不存在老化记录预计执行时间- 2分钟- 比传统重建节约大量时间增量重构V11 重复数据删除变化CLDBSignature Lookups4分区DDBDDB DIPDDB DIPDDB DIP2314Deduplication Database Partitions Shared Disk Library 为什么使用4分区?性能重删处理负载到更多的介质服务器，提高重删处理能力容量每个DDB分区可以以最优的速度支撑50个并发数据流4分区重删池可支持多达200个并发数据流没有官方的最大记录数定义，DDB查询和插入时间决定最大容量。弹性V10中DDB可用性选项会导致重删池中50%的块重定基线。4分区DDB，如果1个分区离线， 重定基线降低为25%。4分区DDB数据如何在DDB分区中分布?Mod（）函数处理每个重删块hash值模函数由