大数据分区管理模型及应用的研究.pdfVIP

第３５卷第３期　 　 　 　 　 　 　 　 　 　 　 哈　 尔　 滨　 工　 程　 大　 学　 学　 报　 　 　 　 　 　 　 　 　 　 Ｖｏｌ．３５ №．３ ２０１４年３月　 　 　 　 　 　 　 　 　 　 Ｊｏｕｒｎａｌ ｏｆ Ｈａｒｂｉｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ 　 　 　 　 　 　 　 　 　 　 　 Ｍａｒ．２０１４ 大数据分区管理模型及其应用研究 １ ２ １ 张文燚 ，项连志 ，王小芳 （１． 哈尔滨工程大学 电子政务建模仿真国家工程实验室，北京 １０００３７；２． 哈尔滨工程大学计算机科学与技术学院，黑龙江 哈尔滨 １５０００１） 摘　 要：针对大数据分区管理技术缺乏普遍适用的形式化数据分区模型的问题，引入一个包含痕迹代数系统、结构化状 态关系代数系统、多结构化状态关系代数系统的大数据范畴，作为支持大数据分区管理及其相关应用研究的基础理论模 型；在此基础上，给出了以满足“本地充足”为目标的，由基于活动场景和实体实例标识的大数据切片规则，以及面向活 动场景的切片分配规则构成的，支持大数据分区管理和快速查询响应的形式化数据分区模型ＴＳＥＩ⁃ＰＳ。 ＴＳＥＩ⁃ＰＳ 已经在 住房和城乡建设部的信息资源统一规划和国家住房信息系统建设中得到了应用。 关键词：大数据；形式化数据分区；本地充足；痕迹代数；结构化状态关系代数；多结构化状态关系代数；范畴 ｄｏｉ：１０．３９６９／ ｊ．ｉｓｓｎ．１００６⁃７０４３．２０１３１２１０５ 网络出版地址：ｈｔｔｐ：／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ／ ｋｃｍｓ／ ｄｏｉ／ １０．３９６９／ ｊ．ｉｓｓｎ２０１３１２１０５．ｈｔｍｌ 中图分类号：ＴＰ３１１．５　 文献标志码：Ａ　 文章编号：１００６⁃７０４３（２０１４）０３⁃０３５３⁃０８ Ｂｉｇ ｄａｔａ ｐａｒｔｉｔｉｏｎ ｍａｎａｇｅｍｅｎｔ ｍｏｄｅｌ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｒｅｓｅａｒｃｈ １ ２ １ ＺＨＡＮＧ Ｗｅｎｙｉ ，ＸＩＡＮＧ Ｌｉａｎｚｈｉ ，ＷＡＮＧ Ｘｉａｏｆａｎｇ （１． Ｍｏｄｅｌｉｎｇ ａｎｄ Ｅｍｕｌａｔｉｏｎ ｉｎ Ｅ⁃ｇｏｖｅｒｎｍｅｎｔ Ｎａｔｉｏｎａｌ Ｅｎｇｉｎｅｅｒｉｎｇ Ｌａｂｏｒａｔｏｒｙ，Ｈａｒｂｉｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ １０００３７，Ｃｈｉ⁃ ｎａ；２． Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｈａｒｂｉｎ １５０００１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｂｅｃａｕｓｅ ｏｆ ｔｈｅｂｉｇ ｄａｔａｐａｒｔｉｔｉｏｎ ｍａｎａｇｅｍｅｎｔ ｔｅｃｈｎｉｑｕｅ＇ｓｌａｃｋ ｏｆ ａｕｎｉｖｅｒｓａｌｌｙ ａｐｐｌｉｃａｂｌｅｆｏｒｍａｌｉｚｅｄ ｄａｔａ ｐａｒｔｉｔｉｏｎ ｍｏｄｅｌ，ｔｈｉｓ ｐａｐｅｒ ｉｎｔｒｏｄｕｃｅｓａｂｉｇ ｄａｔａｃａｔｅｇｏｒｙ ｔｈａｔ ｃｏｎｔａｉｎｓａｔｒａｃｅａｌｇｅｂｒａ ｓｙｓｔｅｍ，ｓｔｒｕｃｔｕｒａｌ ｓｔａｔｅｒｅｌａ⁃ ｔｉｏｎａｌ ａｌｇｅｂｒａ ｓｙｓｔｅｍａｎｄｍｕｌｔｉ⁃ｓｔｒｕｃｔｕｒａｌ ｓｔａｔｅｒｅｌａｔｉｏｎａｌ ａｌｇｅｂｒａ ｓｙｓｔｅｍ，ａｓｔｈｅｂａｓｉｃｔｈｅｏｒｅｔｉｃａｌ ｍｏｄｅｌｆｏｒ ｓｕｐｐｏｒｔ⁃ ｉｎｇ ｐａｒｔｉｔｉｏｎ ｍａｎａｇｅｍｅｎｔ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｒｅｓｅａｒｃｈ． Ｏｎ ｔｈｉｓ ｂａｓｉｓ，ｔｈｉｓ ｐａｐｅｒ ｄｅｔａｉｌｓ ａ ｆｏｒｍａｌｉｚｅｄ ｄａｔａ ｐａｒｔｉｔｉｏｎ ｍｏｄｅｌ ｋｎｏｗｎ ａｓ ｔｒａｃｅ⁃ｓｃｅｎｅ ａｎｄ ｅｎｔｉｔｙ⁃ｉｎｓｔａｎｃｅ ｂａｓｅｄ ｐａｒｔｉｔｉｏｎｉｎｇ ｓｔｒａｔｅｇｙ （ＴＥＳＩ⁃ＰＳ）ｔｈａｔ ｓｕｐｐｏｒｔｓｂｉｇ ｄａｔａ ｐａｒｔｉ⁃ ｔｉｏｎ ｍａｎａｇｅｍｅｎｔ ａｎｄ ｒａｐｉｄ ｑｕｅｒｙ ｒｅｓｐｏｎｓｅ，ｗｉｔｈ