数字标准平台中海量时空小文件合并策略研究-计算机应用研究.pdfVIP

第３１卷第１１期 计 算 机 应 用 研 究 Ｖｏｌ．３１Ｎｏ．１１ 　 　 ２０１４年１１月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｎｏｖ．２０１４ 数字标准平台中海量时空小文件合并策略研究 １ ２ 顾　鑫 ，熊　炼 （１．湖北省标准化研究院，武汉４３００６１；２．武汉大学测绘遥感信息工程国家重点实验室，武汉４３００７９） 摘　要：针对ＨＤＦＳ处理时空小文件效率不高的问题，从用户的访问规律和访问数据自身属性这两者之间的相 关性上出发，将用户访问流看成对数据文件的请求序列，然后根据数据的时空属性参数化表示，并利用特征提取 构建一个新的特征序列，最后通过序列模式挖掘ＰｒｅｆｉｘＳｐａｎ算法找到用户在不同访问模式下的特征模板，合并相 关文件。实验结果表明，该合并策略有效地降低了ＮａｍｅＮｏｄｅ内存占用率和响应时间，提高了读取效率。 关键词：数字标准平台；ＨＤＦＳ；小文件；时空数据；序列模式挖掘 中图分类号：ＴＰ３３３　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１４）１１３３４００４ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１４．１１．０３２ Ｓｔｕｄｙｏｎｃｏｎｓｏｌｉｄａｔｉｏｎｓｔｒａｔｅｇｙｏｆｓｍａｌｌｔｅｍｐｏｒａｌｓｐａｔｉａｌ ｆｉｌｅｓｉｎｄｉｇｉｔａｌｓｔａｎｄａｒｄｐｌａｔｆｏｒｍ １ ２ ＧＵＸｉｎ，ＸＩＯＮＧＬｉａｎ （１．ＨｕｂｅｉＩｎｓｔｉｔｕｔｅｏｆＳｔａｎｄａｒｄｉｚａｔｉｏｎ，Ｗｕｈａｎ４３００６１，Ｃｈｉｎａ；２．ＳｔａｔｅＫｅｙＬａｂｏｒａｔｏｒｙｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇｉｎＳｕｒｖｅｙｉｎｇ，Ｍａｐｐｉｎｇ＆ ＲｅｍｏｔｅＳｅｎｓｉｎｇ，ＷｕｈａｎＵｎｉｖｅｒｓｉｔｙ，Ｗｕｈａｎ４３００７９，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：ＡｉｍｉｎｇｔｏｔｈｅｉｓｓｕｅｓｏｆｌｏｗｐｒｏｃｅｓｓｉｎｇｅｆｆｉｃｉｅｎｃｙｏｆｓｍａｌｌｆｉｌｅｓｉｎＨＤＦＳ，ｆｒｏｍｔｈｅｐｅｒｓｐｅｃｔｉｖｅｏｆｒｅｓｅａｒｃｈｉｎｇｃｏｒｒｅ ｌａｔｉｏｎｂｅｔｗｅｅｎｕｓｅｒ’ｓａｃｃｅｓｓｉｎｇｒｅｇｕｌａｔｉｏｎａｎｄｄａｔａａｔｔｒｉｂｕｔｅｓ，ｔｈｉｓｐａｐｅｒｔｒｅａｔｅｄｕｓｅｒａｃｃｅｓｓｉｎｇｓｔｒｅａｍｓａｓｒｅｑｕｅｓｔｓｅｑｕｅｎｃｅｓ ｔｏｄａｔａｆｉｌｅｓ，ａｎｄｐａｒａｍｅｔｅｒｉｚｅｄｔｈｅｓｅｄａｔａｏｎｔｈｅｂａｓｉｓｏｆｉｔｓｓｐａｔｉａｌａｎｄｔｅｍｐｏｒａｌｐｒｏｐｅｒｔｉｅｓ．Ｗｈｅｎｉｔｇｅｎｅｒａｌｉｚｅｄｎｅｗｓｉｇｎａ ｔｕｒｅｓｅｑｕｅｎｃｅｓｂｙｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ，ｔｈｅｆｅａｔｕｒｅｔｅｍｐｌａｔｅｓｏｆｄｉｆｆｅｒｅｎｔａｃｃｅｓｓｍｏｄｅｓｗｅｒｅｆｏｕｎｄｔｈｒｏｕｇｈｓｅｑｕｅｎｔｉａｌｐａｔｔｅｒｎｍｉ ｎｉｎｇｂｙＰｒｅｆｉｘＳｐａｎａｌｇｏｒｉｔｈｍ．ＥｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｃｏｎｓｏｌｉｄａｔｉｏｎｓｔｒａｔｅｇｙｅｆｆｅｃｔｉｖｅｌｙｒｅｄｕｃｅｓｔｈｅＮａｍｅＮｏｄｅｍｅｍ ｏｒｙｕｓａｇｅａｎｄｒｅｓｐｏｎｓｅｔｉｍｅ，ａｎｄｉｍｐｒｏｖｅｓｔｈｅｓｙｓｔｅｍｒｅａｄｅｆｆｉｃｉｅｎｃｙ． Ｋｅｙｗｏｒｄｓ：ｄｉｇｉｔａｌｓｔａｎｄａｒｄｐｌａｔｆｏｒｍ；ＨＤＦＳ；ｓｍａｌｌｆｉｌｅ；ｓｐａｔｉｏｔｅｍｐｏｒａｌｄａｔａ；ｓｅｑｕｅｎｔｉａｌｐａｔｔｅｒ