《一种支持网络硬盘存储系统的大数据传输技术.》.pdfVIP

小 型 微 型 计 算 机 系 统 2014年2月 第2期 JournalofChineseComputerSystems V01．35 No．2 2014 一 种支持网络硬盘存储系统的大数据传输技术 周 娇 ，傅颖勋 ，刘青昆 ，舒继武 (辽宁师范大学 计算机与信息技术学院，辽宁 大连 116081) (清华大学计算机科学与技术系，北京 100084) E—mail：zhou purplepare@ sina．com _ 摘 要：随着网络的迅速发展和普及，网络硬盘存储系统的应用越来越广泛．但现有的网络硬盘存储系统在超大数据文件传 榆、传输过程的内存占有率、数据安全性及断点续传等方面仍存在着一些缺陷．针对这些问题提出一种高效便捷的DTOSS(Da． taTransmissioninOnlineStorageSystem)数据传输技术．DTOSS数据传输技术基于服务器端的目录树结构，利用分块传输的思 想，实现了超大数据文件的传输．同时DTOSS技术还提高了数据的安全性 ，压缩 了传输过程 中的内存开销，并实现了超大数据 文件的断点续传．实验结果表明，DTOSS技术以64MB作为单个数据块大小可以达到最大的传输速率，此条件下的内存开销大 约为67MB，并能节省约2／3的中断重传时间． 关 键 词：网络硬盘存储系统 ；超大数据传输 ；DTOSS技术；断点续传；内存消耗 中图分类号：TP309 文献标识码：A 文 章 编 号：1000—1220(2014)O2 3295 TransmissionTechniqueforHuge-datain OnlineStorageSystem ZHOUJiao，FUYing．xun ，LIUQing．kun，SHUJi．WU (CollegeofComputerandInformationTechnology，LiaoningNomralUniversity。Dalian116081，China) (DepartmentofComputerSciencenadTcehnology。TsinghuaUniversity-Bering100084，China) Abstract：Withtherapiddevelopmentnadpopularizationofnetwork。theapplicationofonlinestoragesystem ismorenadmoreexten- sive．Buthteexistingonlinestoragesystem hassomedefectsintrnasmissionofhuge—datafile，memoryoccupnacyinhteprocessof rtnasmission，datasecurity，breakpointcontinuinglyetc．Inordertosolvehteseproblems，thispaperproposesallefficientnadconven- ientDTOSS(DataTrnasmissioninOnlineStorageSystem)DataTrnasmissiontechnology．TheDTOSSdatatrnasmissio—ntechnology isbasedonhteserverdirectory rteestructure，nadusehtehtoughtsofblockrtna smissiontorealizetrnasmi ssionofhuge—datafile．Be— sides，DTOSStechnologyimprovesthedatasecurity，compresseshtememory overheadofrtnasmi ssion processesnad realizeshte brekapointcontinuinglyofhuge—daat files．Ourexperimentresultsshow htatwhenusing64MB ashtesizeofasingledaat block， DTOSStechnologyCna achievehtemaximum rtna smissionrate，memory overheadisabout67MB inthi