互联网新闻监控系统的设计与实现-计算机技术专业论文.docxVIP

论文独创性声明本论文是我个人在导师指导下进行的研究工作及取得的研究成果。论文中除 论文独创性声明 本论文是我个人在导师指导下进行的研究工作及取得的研究成果。论文中除 了特别加以标注和致谢的地方外，不包含其他人或其它机构已经发表或撰写过的 研究成果。其他同志对本研究的启发和所做的员献均已在论文中作r明确的声明 并表示了谢意。 作者签名：韭日朗：!二鱼二!夕 论文使用授权声明 本人完全了解复旦大学有关保留、使用学位论文的规定。即：学校有权保留 送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内 容，可以采用影印、缩印或其它复制手段保存论文。保密的论文在解密后遵守此 规定。 作者签名： 《碧 导师签名： 日期：～y6-——．12 摘要面对互联网上爆炸增长的新闻，以往的人工监控等手段已不能满足对新闻网 摘要 面对互联网上爆炸增长的新闻，以往的人工监控等手段已不能满足对新闻网 站进行有效监控和禁止传播有悖于国家安全和公共利益内容等需求。利用先进的 计算机技术开发～套互联网新闻监控系统，提高对互联网新闻的监管力度，促进 互联网新闻服务健康发展，目前对新闻监管部门已经迫在眉睫。 本文在分析了建立互联网新闻监控系统的必要性和实现中难点问题的基础 上，结合对互联网新闻监控相关技术的阐述，提出了互联网新闻监控系统的框架 和主要功能模块。针对实现中难点问题，提出了对目标新闻网站的定向采集和增 量采集方法，解决了采集效率低的问题：提出了适合内容分析的标签树提取模式， 改善了对噪音数据的过滤和关键信息的提取；提出了对采集信息增量索引模式， 通过建立辅助索引方式实现实时检索，解决了内容更新重建索引时需要暂停检索 服务的问题。经评测，本系统检索结果相关匹配度要高于通用新闻搜索系统，并 且已经成功应用于上海新闻办等政府部门。 关键词：互联网，新闻监控，网页采集，全文索弓 ABSTRACTFaced ABSTRACT Faced with the explosive growth of internet information，the previous artificial means of monitoring can not meet the effective control and the prohibition of the dissemination of news websites contrary to the interests of national security and public demand for content．The use of advanced computer technology to develop internet news monitoring system is around the colner,to enhance supervision over imemet acws，to promote the healthy development of the interact news service，which is an urgent problem to supervision of the news departments． The dissertation put forward the flame and major functional modules of interact news monitoring system，based on analysis of the necessity and the difficulty of internet news monitoring system，combined expatiate about internet news watching technique．The dissertation put forward a series of method to solve the difficult issues， such as；the directional target acquisition and incremental acquisition resolves the problem of low collection efficiency,labeling trees suitable for the extraction and analysis of the content improves filtration of the noise and key information extraction， incremental indexing mode achieved through the establ