基于情感分析与垂直搜索引擎的新闻搜索、监控系统研究与设计研究-软件工程专业论文.docxVIP

RESEARCH RESEARCH AND DESIGN oF NEWS SEARCH AND MoNIToRING SYSTEM BASED oN SENTIMENT ANALYSIS AND VERTICAL SEARCH ENGINE |JIIII I IIIrl Ull I rll II IIlllf Y2676287 A Dissertation submitted in fulfillment ofthe require～ments ofi蕊deg疏of MLASTER oF ENGINEEIUNG SCIENCE from Shandong University of Science and Technology by Jia Chao Supervisor：Associate Professor Wei Wenxue College of Information Science and Engineering May 2014 万方数据 声户日 声户日 明明 本人呈交给山东科技大学的这篇硕士学位论文，除了所列参考文献和公认 的文献外，全部是本人在导师指导下的研究成果。该论文资料尚没有呈交于其 它任何学术机关作鉴定。 工程硕士生签名： 日 AFFIRMATIoN I declare that this dissertation，submitted in fulfillment of the requirements for the award of Master of Philosophy in Shandong University of Science and Technology,is wholly my own work unless referenced of acknowledge．The document has not been submitted for qualification at any other academic institute． Signature： Date： 万方数据 山东科技大学工程硕士学位论文 山东科技大学工程硕士学位论文 摘要 摘要 伴随着互联网的不断发展与进步，越来越多的人选择互联网作为他们表达意愿和发 表意见的舞台，网络舆情对社会的发展与和谐有着重大的影响。新闻是指最近社会上发 生的事情，一方面新闻既是对最近社会上发生事情的报道，另一方面也是政府与群众交 流的网络纽带，实时的了解和监控社会大众对新闻的关注及反应情况，可以合理有效的 引导网络舆情的导向和及时制止不良现象的发展。对迅速增长的网络新闻资源，特别是 对用户发布的评论等信息进行数据挖掘和分析，分析用户的情感倾向及演变，可以更好 地理解用户的行为。 情感分析是指对文本内容的情感色彩进行定义、分类等，判断文本的正向、负向或 中立倾向。情感分析的价值就在于从某一网络文本的评论中分析得出总结性的结论。本 文从新闻这一主题为垂直切入点，针对网络复杂多样的新闻网页结构，设计和实现了相 应的新闻主题爬虫，实时的抓取网络新闻内容，并引入情感分析工具分析网络新闻中评 论及回复的网络倾向。通过构建索引子系统可以实时对新闻数据进行线下保存及索引， 可以方便用户的查询及离线阅读，同时，针对网络新闻的特点，针对索引工具进行排名 算法的优化，一方面提高了用户查询的准确率，另一方也及时的向用户反映社会的关注 热点及网络倾向。用户除了实时搜索网络新闻之外，用户也可通过标注感兴趣的新闻， 系统会实时的追踪用户感兴趣新闻的网络发展走势及舆情倾向，并及时将结果返回给用 户。 基于论文提出的情感分析在新闻搜索中应用设计并实现了新闻搜索、监控系统，系 统可实现：用户信息管理、新闻分类管理、新闻管理、新闻抓取、新闻评论实时抓取、 新闻索引及搜索等功能，并把情感分析封装在新闻抓取子系统中，同时对搜索算法针对 新闻主题进行游湖，实现了实时新闻评论情感倾向的统计及分析，及时反馈新闻舆情的 发展倾向及演变规律。 关键字：情感分析；新闻舆情；搜索优化；垂直搜索引擎； 万方数据 山东科技大学工程硕士学位论文 山东科技大学工程硕士学位论文 摘要 ABSTRACT With the rapid development of the Internet，more and more people choose the Intemet as a stage to express