基于日志分析的增量数据捕获方法研究.pdfVIP

第41卷　 第6期 　 计 算 机 工 程 2015年6月 　 　 Vol.41　 No.6 　 Computer Engineering June2015 ·先进计算与数据处理 · 文章编号:1000-3428(2015)06-0056-05　 　 　 文献标识码:A　 　 　 中图分类号:TP311 基于日志分析的增量数据捕获方法研究 彭远浩,潘久辉 (暨南大学信息科学技术学院,广州510632) 摘　 要:通过扫描数据库日志文件可以捕获变化数据,但已有研究仅适应某种特定类型的数据库管理系统并且缺 乏对冗余信息的消除。 针对上述不足,提出一个基于日志分析的增量数据检测及其净效应处理通用模型,描述增 量检测过程中的通用处理步骤,即日志抽取、日志分析和净效应处理3个模块。 通过实验对净效应处理速度、冗余 数据压缩率、网络传输速度等因素进行分析,结果表明,净效应处理可以有效地减少数据的网络传输时间和更新时 间,提高运行效率。 关键词:信息集成;增量检测;冗余信息;日志分析;日志抽取;净效应 中文引用格式:彭远浩,潘久辉.基于日志分析的增量数据捕获方法研究[J].计算机工程,2015,41(6):56-60,65. 英文引用格式:Peng Yuanhao,Pan Jiuhui.Study on Incremental Data Capturing Method Based on Log Analysis[J]. Computer Engineering,2015,41(6):56-60,65. Study on Incremental Data Capturing Method Based on Log Analysis PENG Yuanhao,PAN Jiuhui (College of Information Science and Technology,Jinan University,Guangzhou510632,China) 【Abstract】 Change data can be captured by scanning log files in the database.However,methods proposed in most existing studies have many limitations and can only be applied to certain types of DBMS. Moreover,they have not provided effective ways of eliminating redundant information.This paper,while analyzing these limitations,proposes a universal model basedonloganalysisforincrementaldatadetectionanditsneteffectprocessing,anddescribesthetypical procedures for incremental detection,which are log extraction,log analysis and net effect handling.Finally,experiments are also conducted to analyzethenet effect handling speed,redundant data compressionratio,network transmission speed and other factors,through which showthat the net effect handlinghelpsto decrease the time of network transmission and data update,and impr