web观点挖掘系统的关键技术分析软件工程专业论文.docxVIP

摘要随着互联网的迅速发展和普及，互联网己成为人们获取信息的重要渠道； 摘要 随着互联网的迅速发展和普及，互联网己成为人们获取信息的重要渠道； 同时，它也成为人们表达自己观点、看法、情感的平台。因此，在各大电子 商务网站、电子公告板以及门户网站上出现了大量的有关各种商品的评论信 息。商家和厂家的决策者需要了解顾客使用他们商品情况的反馈意见，潜在 的购买者也需要根据别人的使用体验来作出是否购买该商品的决定。对于商 品生产厂家和潜在的商品购买者而言，面对网络上如此大量、复杂的评论信 息，如何迅速有效地获取自己感兴趣的商品评论的总体观点极性倾向(正面 的还是负面的)就成为了一个新的问题。观点挖掘技术的出现，正是为了解 决这个问题。它融合了信息检索、信息抽取、文本分类、机器学习、自然语 言处理、本体论等众多技术，具有一定的文本理解能力，更具有一定的智能 性。 近年来观点挖掘技术的研究十分活跃，由于观点挖掘涉及到大量的理论 技术，本文只对观点挖掘系统中的几个关键方面进行了深入的研究，并尝试 构建了一个观点挖掘系统(OMS)框架，主要的研究工作如下： 1)根据PageRank算法的思想，结合基于文本内容的启发式方法和基于 Web超链分析的方法二者之间的优点，提出一种新的爬行方法，为我们的观 点搜索系统专门设计了分布式的、改进的聚焦网络爬虫算法，并实现了这个 高效的分布式的聚焦爬虫子系统。 2)基于最大熵和支持向量机的方法进行评论的高质量与低质量分类研 究，过滤掉大量低质量的商品评论，从而保证观点搜索系统能够给出高质量 的查询结果。 3)利用《知网》构造具有主观性词的种子列表，然后，根据从《知网》 中获得的主观词种子列表以及《知网》中词与词之间相似或相反的关系提出 了一个观点词的极性倾向判别算法，从而构建一个带有标注词语情感极性倾 向的主观词词典。 4)使用了本论文的成果以及其它研究者的成果设计了一个基于Web的 观点评论挖掘系统框架。 关键词：观点搜索；聚焦爬虫：文本过滤；情感倾向 AbstractWith Abstract With rapid development of web technology，the Internet has become a very important source from which more and more people obtain information． At the same time，it is also rapidly becoming the platform for people to express their viewpoints． A variety of products reviews appear in major forums，bulletin boards and portals，manufacturers need to grasp customers’feedback through the web，potential buyers need to make the decision whether to buy them or not． Product manufacturers and consumers face such a complicated network full of comments on products，and how to access the general sentiment polarity of these comments quickly and effectively(positive or negative)has become a new problem．Opinion mining technologies，precisely to address these problems．It combines information retrieval，information extraction，text classification，machine learning，natural language processing，ontology and other technologies．It has a certain ability to understand the text，tending to have artificial intelligence to some degree． In recent years，the researches on opinion mining are very active，this paper initially attempt to build a opinion mining