某新产品培训教材.pptx

SANGFOR;;目录;1.数据库插入速度慢。 在带宽较大（大于240Mb）的情况下，产生日志的速度大于数据库插入的速度，产生漏审计。 2.数据恢复机制差。 在数据库异常崩溃后，会丢失全部历史日志。 3.同步与统计数据慢。 3.2之前版本日志量大(A表日志超过2000万条，附件数超过25万)的时候，日志同步速度慢或异常停止，3.2版本支持A表6000万条日志同步。 4.审计冗余日志过多。 冗余日志太多，导致审计性能下降。 5.数据库收缩。 解决数据库表删除后，数据库占用硬件空间大小没有释放的问题。;;3.2之前版本日志审计;3.2版本日志审计; aclog将日志写到两个文件中：sync_file和load_file。sync_file是5分钟写一个文件，load_file间隔时间比较短（5s）。 sync_file主要功能是：向外置数据中心同步数据或者恢复内置mysql。它里面保存的日志和内置mysql相同。 load_file主要功能是：日志中转，实现批量向内置的mysql插入数据，而且它里面的日志在被loader导入完成后自动删除。; 在客户日志量很大的情况下，为了提高AC数据同步性能，AC可以启用高性能模式，在高性模式下，aclog只会写sync_file下的文件，不会写load_file的文件，所以内置数据中心无日志记录，只进行外置数据日志同步。启用高性能模式如下图。;2、高性能模式（续）; AC3.2版本采用日志批量导入数据库及日志损坏自动修复机制，分别由load和recover程序实现。解决了日志写入慢及日志库损坏无法修复的问题，loader和recover同样适用于外置数据中心。如上图;3.1.Loader通过检测是否存在load_file文件（5S），如果存在则将load_file里面的日志导入数据库。 3.2.Loader向MYSQL导入数据，正常结导入成功后，把load_file文件进行删除。 3.3.如果Loader导入表失败并且自行修复表，则调用Recover进行修复。 3.4.Revocer从sync_file中，把导入失败的表，进行重新还原导入。导入成功则返回给Loader。 3.5.如果导入不成功，偿试三次都失败。则回复相应的错误给Loader，并且交还控制权给Loader。; AC3.2版本数据中心采用myisam数据库存储引擎，AC3.2之前版本采用innodb数据库存储引擎，innodb存储引擎存在以下两个问题： ???无法释放数据库空间 ② 某天或某几天的表损坏，可能导致整个数据库损坏，从而导致整个日志丢失。 Myisam存储引擎有效地解决了上述两个问题;Myisam存储引擎特点是每天的每种表都是单独存储的，好处是某个表损坏了，还可以再重新load一次修复。这种方式的数据库会有很多文件，比A表就会产生三个文件：frm（结构表）、MYI（索引表）、MYD（日志表）。;5.1、3.2日志审计不再由aclog直接写数据库。改成aclog直接把日志写到sync_file和load_file两个文件中。每隔一段时间，一次性导入一批日志记录，从而极大提高了效率。 5.2、sync_file文件存在硬盘上，用于同步到外置数据中心和内置数据库恢复使用，每五分钟生成一个文件。Load_file用于导入到内置数据库中，导入成功后便删除，每5s左右导入一次。 5.3、Sync_file与内置数据中心存放着相同的日志，所以产生一个问题，磁盘使用率降低一半。 5.4、支持某一天的日志表坏了，可以直接从日志文件(sync_file)中恢复。只支持恢复当天的，暂时不支持内置数据库完全挂掉后，全盘恢复。但是可以使用外置数据中心，把日志文件中的日志导出。 5.5、启用高性能模式的时候，aclog只写sync_file文件，内置数据中心无日志。 5.6、MYSQL改myisam为存储引擎，解决数据库收缩问题。;; 3.2之前 版本日志同步采用每条日志同步及每条日志写入外置数据中心mysql的方式 缺点：同步速度慢，每天同步的日志大概2000w条左右，日志量比较大的客户，经常出现日志同步速度跟不上日志产生速度，同步滞后。 3.2版本数据采用新的同步机制，内置数据中心每隔5分钟生成一个日志文件，日志同步时，直接将日志文件同步到外置数据中心，然后由我们的load程序批量load到数据库。 优点：大大提高 了同步效率，高端设备一天支持6000w的日志同步，解决了同步速度慢的问题。;上图