互联网舆情研究系统的设计与实现-软件工程专业论文.docxVIP

中图分类号：TP311.52 学校代码：10213 UDC：621.3 密级：公开 工程硕士学位论文 互联网舆情分析系统的设计与实现 硕 士 研 究 生 ：刘欢 导 师 ：吴岩 副教授 副 导 师 ：毕成功 高级工程师 申 请 学 位 ：工程硕士 学 科 ：软件工程 所 在 单 位 ：软件学院 答 辩 日 期 ：2012 年 12 月 授 予 学 位 单 位 ：哈尔滨工业大学 Classified Index：TP311.52 621.3 Dissertation for the Master’s Degree in Engineering (Software Engineering) THE DESIGN AND IMPLEMENTATION OF INTERNET PUBLIC OPINION ANALYSIS SYSTEM Candidate: Supervisor: Associate Supervisor: Academic Degree Applied for: Speciality: Affiliation： Date of Defence: Degree-Conferring-Institution: Liu Huan Associate Professor Wu Yan Senior Engineer Bi Chenggong Master of Engineering Software Engineering School of Software December, 2012 Harbin Institute of Technology 哈尔滨工业大学工程硕士学位论文 哈尔滨工业大学工程硕士学位论文 - - I - 摘 要 随着互联网的爆发式发展，人民大众舆论性的交流也随之转移到网络上，这也 就是现在的网络舆情的诞生。而对于网络言论的公开性，自由性，以至于网络舆 情的内容往往却是焦点。各级政府部门级急需对这些互联网信息进行整理及筛选， 能够对其加以控制，能够准确的掌握舆情的动向是各政府部门的迫切的任务。互 联网舆情分析系统主要就是针对互联网海量的信息内容进行聚类、分类处理，有 效的解决了人工分析互联网信息的难题。而对于互联网舆情分析系统的智能分析 中，舆情分析和舆情预警两项技术是系统中最重要的结点，通过这两部分技术的 应用分析才能准确的得到最新、最准的舆情动向。 本文针对舆情分析进行具体的技术研究和实现。对于舆情分析主要应用到文本 聚类的算法，本文引用到的 K-means 算法的基本原理，但是在选取初始聚类中心 时，结合了系统中舆情信息的应用，选择了通过一个限定的舆情信息的文本簇， 即给定一些关于舆情信息的文本集合，能够让初始聚类中心会在这个集合中选取， 确定了聚类的大致范围，以至于聚类出来的结果较为准确。通过改进的 K-means 算法聚类出的结果通过话题的形式来展示出来。也可以通过自己添加聚类条件如 时间段、具体事件关键字、公开级别等信息来生成专题，这样更能有针对性的跟 踪一个重要话题。而在话题、专题详情中还能够通过文本间的关联图发现事件的 发生历程及事件动态情况，有利于做趋势预测。 对于舆情预警部分的应用，涉及到使用文本分类算法，本文采用的是文本分类 KNN 算法的基本原理，通过结合舆情类型进行指定分类类别（如涉警，维稳，治 安等类别），将分类的结果指定到相应的类别中，通过计算文本间相似度后结合系 统预警的需求设置一些关键参数如设置阀值，通过设置阀值来控制相似的文本的 数量。通过改进的 KNN 算法得到的舆情预警分类结果，再结合预警词典进行数据 过滤，将各类型的数据做最后的筛选，将最终结果推送到系统中。 最后，系统通过系统测试、性能测试能够稳定上线工作，系统能够准确的推送 出话题及预警信息。 关键词：舆情分析；舆情预警；改进 KNN 算法；改进 K-means 算法 - - II - Abstract With the explosive development of the Internet, the exchange of public opinion of people is also transferred to the Internet, which causes the birth of the network of public opinion. Online speech is free and open, so the network public opinion often becomes the focus. Government departments at all levels-class desperately need to trim and screen thes