开题报告10机电工程学院WEB舆情分析魏阳.docVIP

西安电子科技大学 国家大学生创新性实验计划项目 开 题 报 告 项目名称：面向Web的舆情分析监测系统 项目负责人： 魏 阳 项目组成员：沈婷婷 李欢丽 指导教师： 闫允一 所在院系： 机电工程学院 填报日期： 2010年6月1日 西安电子科技大学教务处制 项目名称 面向Web的舆情分析监测系统 项目类型 （划“√”） 基础研究 应用研究 开发研究 其它 √ 项目来源及选题依据 我们的项目来源为教师科研项目。 互联网在全球范围内的飞速发展，网络媒体已被公认为是继报纸、广播、电视之后的“第四媒体”。网络成为反映社会舆情的主要载体之一。网络舆情表达快捷、信息多元、方式互动、具备传统媒体无法比拟的优势。但是互联网上的色情、低俗内容、封建迷信思想、反动思想等对我国的思想道德体系影响很深，阻碍了社会的正常发展。 因此我们提出了建立面向Web的舆情分析监测系统，此系统可自动抓取截获、并自动分析网页内容，屏蔽不良信息，以此来净化网络环境。 2、选题过程中已经阅读的文献资料，以及各项准备工作（如计算、实验等） 学习了Java编程，数据库技术，HTML语言等技术。 老师已做过一些前期性工作，且已经有现成的算法可以利用。 查阅了该项目的国内外文献资料。 3、国内外同类课题研究现状 北京杰诺在线提供的舆情监控系统通过对热点问题和重点领域比较集中的网站信息，如：网页、论坛、BBS等，进行24小时监控，随时下载最新的消息和意见；新联财通以最先进的论坛/博客监测技术，每天监测社区各大论坛/博客用户对特定产品、品牌、人物或事件的反馈，追踪热点和敏感信息，帮助企业、组织和个人全面、深入、及时、准确地了解互联网舆论。但这些公司都只是针对网页信息进行监控和关键字过滤，并没有提供到拦截功能和智能化语意分析功能。 美国也针对黄色信息采取了必要措施，如强制公共机构进行网络过滤、要求全国各公共图书馆安装网络色情过滤系统、利用新的过滤软件技术阻止儿童浏览色情网页等。此外，德国、新加坡等一些国家也制定了一系列法律法规阻止黄色信息的传播，但在网络软件方面没有突出的措施，而他们的措施基本是通过简单的关键字匹配进行网页过滤，存在明显的缺陷，往往出现针对性不强，查询不准确，专业性不强等弊端，它们大多数是从所有者角度进行的监管缺乏必须的公信力和透明性。 4、详细阐述所选课题的目的和意义 项目研究的主要目标为：设计一个舆情分析监控系统，该系统是处于网站所有者和页面访问者之外的“第三方”，可以为政府监管或网络运营商提供监管工具。该系统可自动抓取网页，提取其中文本信息，用舆情分析算法对其进行关键字检索和语意判断，并根据网页中的内容相关性，生成相应的报告，最终达到净化网络环境的目的。 该平台可自动完成Web文本信息抓取、监测和拦截，具有友好的界面和定制性，语义级的舆情判决，并自动生成报告和采取拦截措施，实现“无人值守”的自动监测。 项目的研究意义通过对网页的实时监控，可以实现对网页信息的过滤与筛选，从而净化网络环境，该软件可以成为学校监管或网络运营商的监管工具。 5、根据选题所要完成的工作和预期成果及成果形式 主要工作： 1、使用网络爬虫技术抓取网页，使用模拟访问技术获得wap网页。 2、使用算法来对网页的文本内容进行分析，并且实现智能化检测和语义级的分析。 3、使用JDBC技术里的java.sql包实现对数据库的访问，并且使用连接池技术以节省系统的资源，从而实现软件的高速运行。 4、使用Java对抓取到的网页进行分析，并根据网页内容生成与网页内容相关的报告，以提供给管理者供作为参考。 预期成果 1、舆情分析监测系统一套。 2、研究论文一篇。 3、申请专利或软件著作权一项。 6、拟采用的研究方案和要解决的关键技术问题 研究方案： 1、软件的设计，使用Java编写主程序，从而实现信息拦截和抓取和检测。 2、数据库的逻辑化设计，建立管理平台，为语义级的分析及智能化的检测奠定 基础。 3、算法实现及优化，实现智能化分析。 完成主要内容： 1、设计Web页面/网站文本的获取引擎。 利用该平台采用网络爬虫和模拟访问技术抓取网站上的Web内的信息。 2、设计核心文本舆情监测算法。 综合运用语义网、神经网络、模式识别等技术建立适合于进行Web舆情分析的核心算法。利用Java实现，该算法可对目标信息进行语意判断的智能化分析，使得监测系统能够做到智能化检测和分析信息大意，从而提高信息的筛选准确度。 3、数据库和后台管理人机接口。 对数据库进行逻辑化管理，并处理网络链接（如网站间的相互链接问题），提高信息分析处理的准确性，并实现信息的完整性分析。对信息分析和判断后，重新呈现页面，作为证据保