移动终端本地资搜索引擎的研究与设计.pdf

移动终端本地资源搜索引擎的研究与设计 摘要 随着传统互联网和移动通信网络的快速发展，网络侧及对应的终端侧数据的 种类和数量也得到了快速的发展，如何快速的获取用户所需要的数据成为了亟待 解决的问题。 针对以上问题，相应的搜索技术及业务系统不断涌向。具体包括面向传统互 Computer) 联网的搜索系统，例如GooSe、Baidu、Yahoo等；面向传统PC(Personal ToolbarSuite、Yahoo 中存储的数据的检索系统，例如GooglcDesktop、MSN DesktopSearch等；面向移动通信系统的网络侧数据检索系统，例如Google推出 的短信搜索、中国移动梦网搜索业务以及中国移动的语音搜索等。 在互联网、电信网以及PC发展的同时，以手机为代表的移动终端技术及产 品也得到了快速的推广，移动终端的处理能力和存储容量越来越高，移动终端支 持的业务种类和数据类型也在不断的增多，移动终端正在逐渐的成为用户的最重 要的数据仓库。随着移动互联网的发展，移动终端的数据种类和数量将得到进一 步的增加。因此如果针对移动终端自身的特点，根据用户的数据获取需求，快速 的检索到存储在移动终端上的用户所需的用户数据，成为了一个需要迫切解决的 问题。 根据以上背景，本文设计了移动终端本地资源搜索引擎MDSE(Mobile Device Search Engine)系统。本文首先对移动终端的软硬件特点进行了总结和归 纳，同时对用户的业务需求进行了详细的分析，明确了本系统的目标。同时，本 文就当前的检索技术进行了系统的分析，包括当前搜索系统的主要流程，流程各 个环节的主要技术，关键问题及主要解决方案等；本文对当前流行的开源软件包 Lucene也进行了系统的分析。根据业务需求及移动终端自身的特点，以前对当 前主要搜索技术的分析，本文设计了适合移动终端特点及业务需求的引擎系统， 即MDSE系统。本文对该系统的总体架构、检索主要流程、流程各个环节的主 要技术及算法等进行了详细的阐述。本文设计了一种移动终端上可行的“高频词 优先的逐字二分分词词典机制”；设计并实现了一种移动终端上收集用户历史操 作文档，清洗用户搜索日志，并完善终端初始的关键词词库的方法；同时设计并 实现了一种适用于移动终端的未登录词识别方法。针对“高频词优先的逐字二分 分词词典机制”以及未登录词识别算法，本文给出了仿真结果。对索引及检索和 排序部分，本系统充分的借鉴了Lucene算法的实现。最后，我们根据开发的原 型系统，对系统的功能和性能进行了测试，并对测试数据进行了分析。 关键词移动终端本地资源搜索Lucene分词未登录词 Researchand ofMobile Design DeviceSearch for Engine LocaIResource Abstract Withthe oftraditional development InternetandMobile Communication and ofdatainbothnetwork Network，the type quantity sideand terminalsidehas to corresponded gottenrapidgrowth．Howget thedatatheuserneeded and hasbecomeanissue． quicklyacc