一种采用声学指纹去重的海量MP3文件存储架构.pdfVIP

Vol. 30 No.2 第 30 卷第 2 期 计算机应用研究 2013 年2 月 Application Research of Computers Feb. 2013 一种采用声学指纹去重的海量 MP3 文件存储架构* 赵晓永，杨扬，孙莉莉 (北京科技大学计算机与通信工程学院，北京 100083 ) 摘 要:由于 Hadoop 自身并不适合海量小文件处理，目前的重复数据删除方法主要基于文件的二进制特征，无 法识别经过信号处理后的同一首歌曲，也不能满足海量数据在线处理的要求。提出一种采用声学指纹去重的海 量 MP3文件存储架构，结合音乐文件自身的声学特性和 MP3文件包含的元信息，通过索引、在线归并和 NAF 去 重，很好地解决了小文件过多时内存瓶颈问题，同时提供了更好的去重效果;离线归并和副本调整模块根据系统 的运行状况不断优化存储。实验结采表明，该架构在性能、去重率、可管理性和可扩展性方面达到了良好的平 衡，极大地提高了去重率，与可变分决CDC 相比，去重率提高了 100% ，具有良好的实用价值。 关键词: Hadoop; MP3;声学指纹;数据消重;存储架构 中圄分类号: 1凹11 文献标志码:A 文章编号: 1 ∞1-3695(2013)02-0472翩。4 doi: 10. 3969/j. issn. 1∞1-3695.2013.02.042 Storage architecture of mass MP3 files using acoustic fingerprint deduplication ZHAO Xiao-yong , YANG Yang , SUN Li-li (School 0/ Co叩uter Cõmmunication Engineering , University 0/ Science Technology Beijing , Beijing 1ω083 ， China) Ab喝tract: Due to the Hadoop itself is not suitable for processing of the mass of small files. And current data de-duplication methods are mainly based on the binary characteristics of the file ,so it cannot recognize the same song after the signal process- ing and also cannot meet the requirements of the online processing of massive data. This paper presented a de-duplication stor- age architecture of the mass of the M凹 file based on the acoustic fingerprint. It combined with music files on the acoustic char- acteristics and 由e meta-information of M凹 files ， de-duplication by index , merge online and NAF , solved the memoηbottle­ neck prohlem effectively in the face of too