SANGFOR_ACSG_3.2新产品培训.ppt

培训内容 培训目的 中间表 能在进行日志统计，报表生成时合理利用中间表，以提高速度 四、中间表 随着审计日志量的增加，数据中心查询、统计、生成报表等速度越来越慢，为了满足客户使用数据中心可以在短时间内响应并给出结果的需求，提出中间表的实现机制。中间表由后台程序midtable实现，将原始表中具有求和意义的字段（流量，时间，行为等）按组、用户、IP、应用类型及具体应用做二次统计，一定程度上提高查询、统计的页面响应。 1、为什么要引入中间表 3.0之前的中间表直接从数据库中读取日志，每半个小时作为一个时间段，生成中间表。中间表使用有限，如果要统计四个小时的流量，则需要查询8次中间表。 3.2版本较之前版本发生了变化，生成中间表的原始数据不是从数据库中读取，直接从sync_file下的文件中读取，另外也不仅仅是取半个小时内置的数据生成中间表，可以取半个小时，一个小时，4个小时内的数据生成相应的中间表，这样要统计四个小时内的流量，只需要查询一次中间表即可，提高了统计的速度 2、对比之前版本 3.2版本中间表程序会读取sync_file下的日志文件生成A、F、T、U四种原始表的中间表。不同类型日志的中间表有不同的时间段，如下，中间表一览： 3、中间表一览 中间表命名规则： 如： MidFGA1 其中Mid表示该表为中间表，F表示该表为流量表的中间表，GA分别表示“组”和“具体应用”，1H表示中间表为一张1小时的中间表示中间表的生成时间。 结合前面的中间表一览，如果需要统计某个用户13：00至17：00这段时间的流量情况，需要查几次中间表？ 3、中间表一览（续） SANGFOR AC 3.2SG3.2 新产品培训 培训内容 培训目的 AC3.2SG3.2新产品培训 ①能说出三种以上AC3.2SG3.2版本解决的问题。 ②掌握什么情况下需要选用AC3.2SG3.2版本。 ③掌握3.2版本数据审计及数据同步原理 目录 一、3.2具体解决了哪些问题 二、日志审计 三、日志同步 四、中间表 五、日志精简 六、升级及注意事项 七、FAQ 1.数据库插入速度慢。 在带宽较大（大于240Mb）的情况下，产生日志的速度大于数据库插入的速度，产生漏审计。 2.数据恢复机制差。 在数据库异常崩溃后，会丢失全部历史日志。 3.同步与统计数据慢。 3.2之前版本日志量大(A表日志超过2000万条，附件数超过25万)的时候，日志同步速度慢或异常停止，3.2版本支持A表6000万条日志同步。 4.审计冗余日志过多。 冗余日志太多，导致审计性能下降。 5.数据库收缩。 解决数据库表删除后，数据库占用硬件空间大小没有释放的问题。 一、3.2具体解决了哪些问题 培训内容 培训目的 日志审计 ①能说出3.2版本在写日志方面较之前版本有哪些改进。 ②能说出高性能模式和普通模式的区别。 ③能说出MYSQL改用存储引擎解决了什么问题。 二、日志审计 3.2之前版本日志审计 3.2以前的版本由aclog直接写内置 mysql数据库，通过insert命令逐条插入数据库的，如图，日志写入速度及同步速度比较慢。 1、对比之前版本 3.2版本日志审计 AC3.2版本Aclog改变日志逐条地插入到数据库中的机制，而是生成日志文件（sync_file和load_file），再由日志导入模块（Loader）负责将日志批量导入到数据库中。解决以往版本由aclog直接将日志逐条插入数据库的效率低问题。 1、对比之前版本（续） aclog将日志写到两个文件中：sync_file和load_file。sync_file是5分钟写一个文件，load_file间隔时间比较短（5s）。 sync_file主要功能是：向外置数据中心同步数据或者恢复内置mysql。它里面保存的日志和内置mysql相同。 load_file主要功能是：日志中转，实现批量向内置的mysql插入数据，而且它里面的日志在被loader导入完成后自动删除。 1、对比之前版本（续） 在客户日志量很大的情况下，为了提高AC数据同步性能，AC可以启用高性能模式，在高性模式下，aclog只会写sync_file下的文件，不会写load_file的文件，所以内置数据中心无日志记录，只进行外置数据日志同步。启用高性能模式如下图。 2、高性能模式 2、高性能模式（续） AC3.2版本采用日志批量导入数据库及日志损坏自动修复机制，分别由load和recover程序实现。解决了日志