分布式数据流挖掘的研究进展.doc

分布式数据流挖掘的研究进展 第39卷第1期 2012年1月 计算机科学 ComputerScience Vo1.39No.1 Jan2012 分布式数据流挖掘的研究进展 曲武隋海峰杨炳儒谢永红 (北京科技大学信息工程学院北京100083) 摘要随着通信技术和硬件设备的不断发展,尤其是小型无线传感设备的广泛应用,数据采集和生成技术变得越来 越便捷和趋于自动化,研究人员正面临着如何管理和分析大规模动态数据集的问题.能够产生数据流的领域应用已 经非常普遍,例如传感器网络,金融证券管理,网络监控,web日志以及通信数据在线分析等新型应用.这些应用的 特征是环境配备有多个分布式计算节点;这些节点往往临近于数据源;分析和监控这种环境下的数据,往往需要对挖 掘任务,数据分布,数据流入速率和挖掘方法有一定的了解.综述了分布式数据流挖掘的当前进展概况,并展望了未 来可能的,潜在的专题研究方向. 关键词分布式数据流挖掘,数据流挖掘,数据流 中图法分类号TP181文献标识码A AdvancesinStudyofDistributedMiningofDataStreams QUWuSUIHai-fengYANGBing-ruX1EYong-hong (schoolofInformationEngineering,UniversityofScienceandTechnologyBeiiing,Beijing100083,China) AbstractWithadvancesincommunicationstechnologyandhardwareequipmenttechnologies.particularlythewideuse ofsmal1wirelesssensordevices,datacollectionandgenerationtechnologieshavebecomemoreconvenientandautoma- ted,organizationsandresearchersarefacedwiththeevergrowingproblemofhoWtomanageandanalyzelargedynamic datasets.Environmentsthatproducestreamingsourcesofdataarebecomingcommonplace,suchassensornetwork,fi— nancialdatamanagement,networkmonitoring,Webloganalysisandthecommunicationdataonlineanalysis.Inmany applicationinstances,theseenvironmentsarealsoequippedwithmultipledistilbutedcomputingnodesthatareoftenlo— catednearthedatasources.Analyzingandmonitoringdatainsuchenvironmentsrequiresdataminingtechnologythatis cognizantoftheminingtask,thedistributednatureofthedata,andthedatainfluxrate.Wereviewedthecurrentsitua- tionofthefieldandidentifiedpotentialdirectionsoffutureresearch. KeywordsDistributedminingofdatastreams,Datastreamsmining,Datastream 1引言 从20世纪6O年代起,数据库技术迅速发展且得到了广 泛应用.数据模型及其建模形式多样,从层次数据库,网状数 据库,关系数据库,对象数据库,到对象关系数据库等;数据规 模越来越大,数据处理和分析技术也越来越先进.目前应用 最广泛的数据处理和分析技术仍然是比较成熟的数据库管理 系统(DatahaseManagementSystem,DlS)技术,数据仓库 (DataWarehouse,DW)技术以及数据挖掘技术.然而上个世 纪末开始在一些新型应用中出现的数据,却对传统数据处理 和分析技术提出了新的挑战.这些数据包括传感器数据,网 络数据,金融数据,事务日志,天文数据等,其种类还在不断地 增加.这种数据的特点是数据持续到达,且速度快,规模宏 大.为了从这些不断增加的数据中得益,类似数据挖掘这样 的半自动化交互技术被用于处理和分析这些数据.由于处理 过程在本质上是迭代的(人作为循环的一个环节),因此必须 要求客户端查询的交互响应时间在合理的范围内,要满足这 些