基于Nutch的民航领域舆情信息监测技术研究-计算机应用技术专业论文.docxVIP

万方数据 万方数据 Research on Key Technique of Public Opinion for Civil Aviation Based on Nutch A Dissertation Submitted to Civil Aviation University of China For the Academic Degree of Master of Science BY CI Xiang Supervised by HUANG Jian-xiong And Prof. DING Jian-li School of Computer Science and Technology Civil Aviation University of China March 2011 中国民航大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得中国民航大学或其它教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。 研究生签名： 日 期： 中国民航大学学位论文使用授权声明 中国民航大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论 文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档 的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅， 可以公布（包括刊登）论文的全部或部分内容。论文的公布（包括刊登）授权中国民航 大学研究生部办理。 研究生签名： 导师签名： 日 期： 摘 要 网络的高速发展带来一系列网络监管上的问题，除传统的网络安全技术问题外，网 络内容安全也越来越引起了人们的重视，网络舆情信息的监测正是在这种背景下产生 的。舆情是指在一定的社会空间内，围绕中介性社会事件的发生、发展和变化，民众对 社会管理者产生和持有的社会政治态度，而网络舆情则是人们通过网络表达自己对于社 会事件的看法。研究网络舆情对于政府和企业了解民众的真实社会观点，及时做出正确 决策，缓解社会矛盾有着重要的现实意义和实际价值。 本文以 Nutch 为基本研究工具，面向民航特定领域，围绕舆情信息监测系统中的若 干关键性技术，进行了比较深入的研究与探索。研究和构建了民航领域网络舆情信息监 测系统架构，梳理和凝练了民航领域网络舆情信息监测系统中的关键技术。针对网络舆 情监测中的中文信息处理，提出了一种适用于真实网络环境下的基于免疫遗传算法的网 络新词识别方法。围绕热点发现，以 Nutch 为基本的网页采集工具，利用民航业专业词 库和 single-pass 算法，提出了一种面向民航领域的网络热点发现方法。围绕舆情分析， 以知网为基本的语义词典，提出了一种对热点事件相关网页上的评论进行倾向性分析的 方法。并分别对上述方法进行了实验，结果表明提出的算法能够较好的解决网络环境下 新词识别、热点发现以及评论倾向性分析等问题，为民航领域舆情信息监测系统研制提 供了理论支持和技术支撑。 关键词：舆情监测；Nutch；民航领域；新词识别；热点发现；倾向性分析 I Abstract The rapid development of Internet has brought a series of questions on network monitoring.In addition to traditional network security technology issues, Internet content security has more and more attracted peoples attention, the monitoring of public opinion on the Internet is generated in this context. Public opinion is the social and political attitudes held by people which caused by the occurrence, development and change of social events in a certain social space.Public opinion on the Internet is for people to express themselves through the network. Research of public opinion has important practical