流数据分析及管理综述.pdfVIP

维普资讯 1000—9825／2004／15(08)1172 ~2004JournalofSoftware 软 件 学 报 v01．15．No．8 流数据分析与管理综述 金澈清，钱卫宁，周傲英 (复旦大学 计算机科学与工程学系，上海 200433) AnalysisandManagementofStreamingData：A Survey JINChe—Qing，QIANWei—Ning，ZHOUAo—Ying一 (DepartmentofComputerScienceandEngineering，FudanUniversity，Shanghai200433，China) +Correspondingauthor：Phn：+86—21Fax：+86—21 E-mail：ayzhou@fudan．edu．ca，http：／w／ww．fudan．edu．ca Received2003—09—01；Accepted2004—03—29 JinCQ，QianwN，ZhouAY．Analysisandmanagementofstreamingdata：Asurvey．JournalofSoftware． 2004，15(8)：1172-1181． htto：／／www．ios．org．cn／l000．9825／l5／ll72．htm Abstract： Thestudyon streamingdataisoneofthehottopicsamongthedatabasecircleallovertheworld recently．Duringhtepastthreedecades，conventionaldatabasetechnologieshavebeenwelldevelopedandwidely applied．Unfortunately,theycouldnotbeadoptedtohnadleanew kindofdata，namedstreamingdata whichis ， generatedfrom applicationssuchasnetworkrouting，sensornetworking，stocknaalysisetc．Becauseoftherapid ， dataarrivingspeedandhugesizeofdatasetinstream model，novelalgorithmsthatonlyrequireseeingthewhole datasetoncearedevisedtosupportaggregationqueriesondemnad．Inaddition，thiskindofalgorithmsusually ownsadatastrucutrefarsmallerthna thesizeofthewholedataset．Thewaystodevisesuchsynopsisdata strucutresare inrtoduced．Thesedifferentapproachesarealsocomparedby listinghistoricalworksuponwto classicalproblemsoverstream． Keywords： srteamingdata；snyopsisdatastrucutre；lnadmarkmodel；slidingwindowmodel 摘 要：有关流数据分析与管理的研究是 目前国际数据库研究领域的一个热点．在过去3O多年中，尽管传统数 据库技术发展迅速且得到了广泛应用，但是它不能够处理在诸如网络路由、传感器网络、股票分析等应用中所 生成的一种新型数据，即流数据．流数据的特点是数据持续到达，且速度快、规模宏大：其研究核心是设计高效的 单遍数据集扫描算法，在一个远小于数据规模的内存空间里不断更新一个代表数据集的结构——概要数据结 构，使得在任何时候都能够根据这个结构迅