互联网新闻实时信息采集及主题探测研究-管理科学与工程专业论文.docxVIP

南京航空航天大学硕士学位论文 南京航空航天大学硕士学位论文 互联网新闻实时信息采集及主题探测研究 互联网新闻实时信息采集及主题探测研究 I I II II 摘 要 互联网新闻已经成为人们获取信息、了解新闻的最重要的渠道。它同其他网络资源一样， 存在着信息过载的问题。搜索引擎已经在很大程度上解决了用户快速获取需要的信息的问题。 凭借强大的搜索功能，用户可以很快的找到关注事件的相关新闻。这是通过传统的关键词检索 技术来完成的，将导致分散的主题相关信息被孤立的检索出来，其中包含的热点事件，焦点事 件都被忽视了，包含于其中的有价值的信息将得不到不充分的利用。如何快速、及时的寻找同 一新闻主题相关事件之间的结构和相互关联，帮助用户及时理解和把握新闻事件的全局概貌和 来龙去脉，理清事件的内在逻辑，成为当下的一个研究热点。 本文首先对信息采集和主题探测的基础理论方法进行研究，介绍了互联网信息采集技术的 基本原理和主题探测的产生和相关技术。然后针对实时新闻信息采集策略从两个方面进行了深 入的研究。一方面，为了提高系统采集效率，从分布式系统设计的要点出发，对分布式信息采 集的 URL 选择、负载平衡、协调策略和可扩展性这四个方面作了详细分析；另一方面，针对实 时性要求，提出改进的采集频率的计算方式。有了网页信息采集结果的基础后，接下来对网页 的新闻主题进行探测。首先分析现有在线增量式主题探测应用于新闻网页主题探测上的不足， 提出了基于主题描述模型的主题相关性分析方法用于判断网页与某个主题之间的相关性。为了 提高主题探测的效率和质量引入了主题加窗策略和动态修正主题描述实例的方法。 最后针对实时信息采集和主题探测两个部分分别设计了对照实验，对本文提出方案的性能 进行论证。实验结果表明该分布式信息采集系统能够实现负载均衡，并具有良好的可扩展性， 实时采集效果理想，主题探测系统能够很好的检测出当前互联网上出现的各种新闻主题事件， 并能准确的将当前的重大热点新闻主题反映出来。 关键词：Web 新闻采集，实时抓取，主题描述模型，主题探测 ABSTRACT Internet news has become the main channel for people obtaining information. There is too much information for people. Search Engine has solved the problem of quickly getting what you want and finding their attention to the news of the incident. It will lead to list the search result simply and ignore the hot news. How to find the related news for event quickly and promptly has became the hot spot. Firstly, we introduced the basic principles of Internet information gathering and topic detection and in-depth study on the strategies for real-time news and information gathering. In order to improve gathering efficiency, we designed a distributed system on the URL selection, load balancing, coordination strategy and scalability. On the other hand, we improved the method for calculating the gathering frequency for the real-time requirements. Next, we introduced a topic description model for correlation analysis to help improve topic detection after analyzing of the existing online incremental clustering algorithm. At the same time, we introduced the window strategy and adjusting the topic description in order t