基于SparkSQL的分布式全文检索框架的设计与实现-计算机科学.PDF

第 卷 第 期 计 算 机 科 学 ４５ 　 ９ Vol．４５No．９ 年 月 ２０１８ ９ COMPUTER SCIENCE Se．２０１８ p 基于SarkSL的分布式全文检索框架的设计与实现 p Q , １２ ２ ２ ２ ２ 崔光范 许利杰 刘 杰 叶 丹 钟 华 　 　 　 　 　 　 　 １ ２ (中国科学院大学 北京 ) (中国科学院软件研究所 北京 ) 　 １０００４９ 　 　 １０００４９ 　 , , . 摘 要 随着信息化的深入 大数据在各个领域产生了巨大的价值 海量数据的存储和快速分析成为新的挑战 传统 　 　 、 , . 的关系型数据库由于性能 扩展性的不足以及价格昂贵等方面的缺点 难以满足大数据的存储和分析需求 Sark p , , SQL是基于大数据处理框架Sark的数据分析工具 目前已支持 TPCＧDS基准 成为大数据背景下传统数据仓库的替 p . , , 代解决方案 全文检索作为一种文本搜索的有效方式 能够与一般的查询操作结合使用 提供更加丰富的查询和分析 . , , . , 操作 目前 SarkSQL仅支持简单的查询操作 不支持全文检索 为了满足传统业务迁移和现有业务的使用需求 p , 、 、 、 , 提出了分布式全文检索框架 涵盖了 文法 翻译转换框架 全文检索并行化 检索优化 个模块 并在 SQL SQL ４ Sark p . , , 、 SQL上进行了实现 实验结果表明相比于传统的数据库 在两种检索优化策略下 该框架的索引