多源异构海量数据实时处理平台研究与应用.pdf

第３１卷第１期　　　 计算机应用与软件 Ｖｏｌ３１Ｎｏ．１ ２０１４年１月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊａｎ．２０１４ 多源异构海量数据实时处理平台研究与应用 １ １，２ ３ 耿焕同 　黄　涛 　薛丰昌 １（南京信息工程大学计算机与软件学院　江苏南京２１００４４） ２（南京信息工程大学江苏省网络监控中心　江苏南京２１００４４） ３（南京信息工程大学遥感学院　江苏南京２１００４４） 摘　要　　目前许多业务部门以多种形式记录各种海量且异构多源的业务数据，在进行高端决策时，对数据的读取及多维计算分析 等方面效率较低，特别是对具有“时空”特性的数据处理。针对这类数据的多源异构性、海量性、高度时空性等特点，结合数据实时 性需求，设计并实现了“多源异构海量数据实时处理平台”。该平台从多途径实时获取、处理多种海量数据文件，并实时保存到数据 库，方便其他各业务系统更加直接、实时地使用各种实时数据，最终实现各业务系统间的多源异构海量数据的实时共享，同时该平台 对其他领域的复杂数据处理也具有很好的参考价值。 关键词　　多源　异构　海量　实时　并行处理 中图分类号　ＴＰ３１９　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１４．０１．０１２ ＲＥＳＥＡＲＣＨＡＮＤＡＰＰＬＩＣＡＴＩＯＮＯＦＲＥＡＬＴＩＭＥＰＲＯＣＥＳＳＩＮＧＰＬＡＴＦＯＲＭＦＯＲ ＭＵＬＴＩＳＯＵＲＣＥＨＥＴＥＲＯＧＥＮＥＯＵＳＭＡＳＳＤＡＴＡ １ １，２ ３ ＧｅｎｇＨｕａｎｔｏｎｇ　ＨｕａｎｇＴａｏ 　ＸｕｅＦｅｎｇｃｈａｎｇ １（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒａｎｄＳｏｆｔｗａｒｅ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ２１００４４，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ） ２（ＪｉａｎｇｓｕＥｎｇｉｎｅｅｒｉｎｇＣｅｎｔｅｒｏｆＮｅｔｗｏｒｋＭｏｎｉｔｏｒｉｎｇ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ２１００４４，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ） ３（ＳｃｈｏｏｌｏｆＲｅｍｏｔｅＳｅｎｓｉｎｇ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ２１００４４，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ａｔｐｒｅｓｅｎｔｍａｎｙｂｕｓｉｎｅｓｓｄｅｐａｒｔｍｅｎｔｓｒｅｃｏｒｄｔｈｅｍａｓｓａｎｄｈｅｔｅｒｏｇｅｎｅｏｕｓｍｕｌｔｉｓｏｕｒｃｅｂｕｓｉｎｅｓｓｄａｔａｉｎａｖａｒｉｅｔｙｏｆｆｏｒｍａｔｓ． Ｗｈｅｎｃａｒｒｙｉｎｇｏｕｔｄｅｃｉｓｉｏｎｍａｋｉｎｇａｔｈｉｇｈｅｎｄ，ｉｔｉｓｌｏｗｅｒｉｎｅｆｆｉｃｉｅｎｃｙｏｆｄａｔａｒｅａｄｉｎｇａｎｄｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌｃａｌｃｕｌａｔｉｏｎ，ｅｓｐｅｃｉａｌｌｙｉｎｒｅｇａｒｄ ｔｏｔｈｅｐｒｏｃｅｓｓｉｎｇｏｆｄａｔａｗｉｔｈ＂ｔｉｍｅｓｐａｃｅ＂ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ．Ａｃｃｏｒｄｉｎｇｔｏｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｓｕｃｈｋｉｎｄｏｆｄａｔａｗｉｔｈｍｕｌｔｉｓｏｕｒｃｅ ｈｅｔｅｒｏｇｅｎｅｉｔｙ，ｍａｓｓａｎｄｈｉｇｈｓｐａｔｉｏｔｅｍｐｏｒａｌｐｒｏｐｅｒｔｉｅｓ，ａｎｄｃｏｍｂｉｎｉｎｇｗｉｔｈｔｈｅｒｅａｌｔｉｍｅｄａｔａｄｅｍａｎｄ，ｗｅｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔｔｈｅ“ｍｕｌｔｉ ｓｏｕｒｃｅｈｅｔｅｒｏｇｅｎｅｏｕｓｍａｓｓｄａｔａｒｅａｌｔｉｍｅｐｒｏｃｅｓｓｉｎｇｐｌａｔｆｏｒｍ”．