犻犵犇犪狋犪犅犲状犮犺开源的大数据系统评测基准.PDFVIP

第 卷 第 期 计 算 机 学 报 ３９ １ 　 　　 　　 　　 　　 Ｖｏｌ．３９ Ｎｏ．１ 年 月 ２０１６ １ ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ Ｊａｎ．２０１６ 　 犅犻犇犪狋犪犅犲狀犮犺：开源的大数据系统评测基准 犵 ） ），） ） ） ） １ １ ２ １ ３ ４ 詹剑锋 高婉铃 王 磊 李经伟 魏 凯 　 　 　 　 ） ） ），） ） １ １ １ ２ ４ 罗纯杰 韩 锐 田昕晖 姜春宇 　 　 　 １）（中国科学院计算技术研究所 北京 １００１９０） 　 　 ２）（中国科学院大学 北京 １００１９０） 　 　 ３）（北京尖峰新锐信息科技研究院 北京 １０００８１） 　 　 ４）（中国信息通信研究院 北京 １００１９１） 　 　 摘 要 大数据系统的蓬勃发展催生了大数据基准测试的研究，如何公正地评价不同的大数据系统以及怎样根据 　 　 需求选取合适的系统成为了热点问题 然而，应用领域的广泛性、数据类型的多样性和数据操作的复杂性使得大数 ． 据基准测试集的设计面临很大的挑战 现有的相关基准测试工作要么针对某一类特定的应用或软件栈，要么根据 ． 流行度主观地选择大数据负载，难以全面覆盖大数据的多样性和复杂性 针对现有工作的不足，文中讨论大数据评 ． 测基准需要满足的需求，并研制了一个跨系统、体系结构、数据管理 个领域的大数据基准测试开源程序集——— ３ 它覆盖 个典型的应用领域（搜索引擎、电子商务、社交网络、多媒体、生物信息学），包含结构化、半 ＢｉＤａｔａＢｅｎｃｈ． ５ ｇ 结构化、非结构化的数据类型，涵盖离线分析、交互式分析、在线服务、 这 种负载类型 目前包含 个真实 ＮｏＳＱＬ ４ ． １４ 数据集、种类型