个性化Web信息采集技术研析.pdf

个性化的Web信息采定技术研究：摘要 摘要 随着Web信息的爆炸性增长，如何快速、准确地从浩瀚的信息资源中寻找到所需信 息已经成为困扰人们的一大难题。传统搜索引擎技术满足了人们一定的需要，但由于其 通用的性质，仍然不能满足不同背景、不同目的和不同时期的用户个性化的需求。个性 化Web信息采集就是针对这个问题而提出来的。个性化Web信息采集的研究目标在于 充分利用用户的个性化信息，通过用户兴趣制导或与用户交互等灵活手段来采集Web信 息，充分利用网络信息，以更好地服务于用户的个性化需求。 围绕个性化Web信息采集系统PSearch，论文的主要工作包括以下几个方面： (1)用户兴趣个性化信息的获取。分析了用户兴趣个性化信息的收集和更新，重点 从用户需求扩展、特征选择，以及文本聚类分析三个方面来做了分析和实验。 · 当捕获用户当前的浏览行为时，根据用户当前浏览内容的计算结果，选择那 些跟用户需求关键词相似度最大的词扩展进来，从而保证了扩展词的质量。 实验结果表明，通过这样的需求扩展确实获得了用户的当前个性化兴趣。 ● 隐式收集用户兴趣在本质上与文本分类中的特征选择问题相似．隐式收集用 户兴趣可以借鉴文本特征选择方法来实现用户兴趣的收集。实验结果表明在 用户兴趣个性化信息的获取中，信息增益方法效果较佳。 ● 如果能够对用户浏览的页面聚类，就能够得到用户具体感兴趣的主题。隐式 收集用户兴趣可以借鉴文本聚类分析来实现用户兴趣的收集。实验结果表明 K-means是一个合适的选择。 在用户兴趣个性化信息的获取中，Bisecting (2)待采页面的选择。根据页面在Web上的分布特征，分析了个性化Web信息采集 系统PSearch的种子URL设置、页面采集过程、已采页面与用户兴趣的相关度 判定和待采URL与用户兴趣的相关度预测，提出了PSearch页面选择算法。实 验结果表明PSearch页面选择算法的采集准确性要明显优于广度优先算法。 (3)相关度的判定。借鉴了信息检索中的分类过程，实验结果表明，在PSearch的相 的检索结果，PSearch推荐给用户的页面和用户的当前兴趣更相关，实现了为用 户提供个性化服务的目的． (4)个性化Web信息采集的性能优化。分别从优雅采集、页面采集、页面刷新、分 布式采集等几方面详细分析了PSearch的性能优化．在页面采集中分析了多线 程、DNS缓存、持续连接、重复网页、采集器陷阱和网页的存储。 关键词：个性化服务，个性化Web信息采集，用户兴趣，个性化Web信息采集系统 PSearch，搜索引擎 I 个性化的Web信息采集技术研究；Abslracl ResearchonCustomized Web Crawfing Wu Softwareand Lihui(ComputerTheory) DirectedBaiShuo By Withthe ofWeb to and findtheneeded explosioninformation,how immediatelyexactly informationfor LlSeIhas each becomea