基于多属性的海量Web数据关联存储及检索系统.PDF

CN43—1258／TP 计算机工程与科学 第36卷第3期2014年3月 ISSN1007—130X ComputerEngineering＆Science V01．36，No．3，Mar．2014 文章编号：1007—130X(2014)03—0404—07 基于多属性的海量Web数据关联存储及检索系统 罗 芳1，李春花1，周 可1，黄永峰2，廖正霜1 (1．华中科技大学计算机科学与技术学院，湖北武汉430074；2．清华大学电子工程系，北京100084) 摘 要：传统的Web数据检索一般采用全文检索方法，该方法具有很好的灵活性，但舆情分析往往需 要获得相关的网页属性及统计信息。针对传统的Web检索方法无法满足上述需求，基于Hadoop平台设 计并实现了一种基于多属性的海量Web数据的关联存储及检索系统，为舆情分析提供基础检索与统计服 务。主要实现HDFS上基于属性的网页数据的分类和聚类存储，解决小文件存储同时提高数据访问吞吐 量；建立原始网页数据与属性数据之间的关联映射；基于HBase的已有索引机制，结合分布式本地索引机 制解决基于HBase的动态属性多条件选择查询的辅助索引问题。 关键词：分类存储；多条件选择查询；关联映射；辅助索引 中图分类号：TP391．3 文献标志码：A doi：10．3969／i．issn．1007—130X．2014．03．005 Anassociatedandretrievalofmassive storage system Webdatabasedonmulti-attributes LUO Chun—hual，ZHOUKel，HUANG Fan91，LI Yong—fen92，LIAOZheng—shuan91 (1．Schoolof Scienceand ofScienceand 430074； Computer Technology，HuazhongUniversity Technology，Wuhan ofElectronic 100084，China) 2．Department Engineering，TsinghuaUniversity，Beijing WebRetrievals usethe searchmethodwhichhas Abstract：Traditional full—text flex— commonly good relative ofweb the of needs informationattributes ibility．However，asanalysispublicopinionusually and traditionalretrievalmethodcannot it associatedandretrieval statistics，the well．An satisfy storage basedonthe is and canoffer basicservice system platformdesigned Hadoop implemented，whichgoo