基于Hadoop与Nutch的分布式搜索引擎的研究和仿真.pdfVIP

白永超，付伟，辛阳 北京邮电大学信患安全中心，北京，100876 摘要：随着互联网络的发展，网络中存储的信息量急剧增加，搜索引擎在网络中占据着越来越重要的位置。 的中文分词切分算法较为简单，识别效率不高，为了改进中文分词算法，本文引入了基于词典的中文分词器Il( Analy跹r，随后对分词效率进行了测试，测试结果表明中文分词效果有明显改善。 关键词：信息安全；搜索引擎；分布式处理；中文分词 ResearchandSimulationofDistributedSearch Engine BasedOn andNutch Hadoop Bai Yongchao，FuWei，XinYang Information ofPostsand