用户评论分析系统研究论文.doc

用户评论分析系统研究毕业论文 目 录 1 绪论 - 1 - 1.1 国外评论分析发展状况 - 1 - 1.2 国内评论分析发展状况 - 3 - 1.3 本课题研究的内容和意义 - 5 - 1.3.1 论文的主要内容 - 5 - 1.3.2 课题研究的意义 - 5 - 1.4 本文的组织结构 - 6 - 2 理论综述 - 8 - 2.1 文本挖掘技术 - 8 - 2.1.1 数据预处理技术 - 9 - 2.1.2 挖掘分析技术 - 9 - 2.1.3 可视化技术 - 10 - 2.2 极性词典 - 10 - 2.2.1 静态极性词典 - 11 - 2.2.2 动态极性词典 - 13 - 2.3 语义极性分析与分析的难点 - 14 - 2.4 本章小结 - 14 - 3 评论分析原型系统设计 - 16 - 3.1 总体设计 - 16 - 3.1.1 文本预处理模块 - 17 - 3.1.2 文本倾向性分析模块 - 18 - 3.1.3 统计分析模块 - 18 - 3.2 极性字典设计 - 19 - 3.2.1 初始极性词典的构建 - 19 - 3.2.2 网络极性词典扩充 - 19 - 3.2.3 领域极性词典修正 - 19 - 3.2.4 否定词典和强调词典 - 19 - 3.3 数据库设计 - 20 - 3.4 系统程序设计 - 21 - 3.4.1 预处理模块程序设计 - 21 - 3.4.2 文本倾向性分析模块程序设计 - 22 - 3.4.3 统计分析模块程序设计 - 23 - 3.5 GUI设计 - 24 - 3.5.1 数据字典管理 - 24 - 3.5.2 评论文本管理 - 25 - 3.5.3 评论文本处理 - 25 - 3.5.4 系统设置和帮助系统 - 26 - 3.6 本章小结 - 27 - 4 系统实现及其在开心商城的应用 - 28 - 4.1 关键问题的解决与实现 - 28 - 4.1.1 系统开发、测试环境搭建 - 28 - 4.1.2 J2EE数据访问方法 - 28 - 4.1.3 数据处理函数及其访问接口 - 30 - 4.1.4 系统核心组件应用 - 31 - 4.2 系统测试 - 32 - 4.2.1 测试资料 - 33 - 4.2.2 评论文本倾向性测试 - 33 - 4.3 开心商城介绍 - 34 - 4.4 系统应用及其步骤 - 34 - 4.4.1 开心商城评论分析系统建立步骤 - 34 - 4.4.2 评论分析原型系统应用效果 - 36 - 4.5 本章小结 - 37 - 5 总结与展望 - 38 - 5.1 总结 - 38 - 5.2 展望 - 39 - 致 谢 - 41 - 参考文献 - 42 - 绪论 最近几年，电子商务迅速发展，网上购物已变得不再陌生，越来越多的人足不出户就能买到自己想要的商品。为了更好地服务网上购物的消费者以及增加消费者的购物经验，许多购物网站联合商家为消费者提供了发表评论的平台，这样，就能够给潜在的购买者提供参考，而且也有利于生产商跟踪客户反馈，从而改善新产品的满意度。对于生产商来说，需要获得对产品全面的反馈信息，只靠人工分析少数的评论远远不够。另外，通过统计和分析商品评论，可以知道用户最关注商品的哪个特性，从而有利于对商品的改善。一个能够收集商品评论，并且能有效归纳评论中的品牌，商品特性，以及评价词语的商品评论总结系统，可以有效地为潜在商品用户和商品制造者提供便利。 随着人们对商品评论的重视，商品评论呈指数级增长，并且这些评论出现在各大论坛、电子公告板以及门户网站上。而这些评论从本质上讲是一种文本，对这种评论的分析实际上是对文本的数据挖掘。对于这种半结构或无结构化的数据，用传统方法获取特定内容信息的手段却较弱，导致信息搜寻困难和信息利用率低下。文本表达了大量的、丰富的信息，同时包含了许多未被所有者发现的潜在知识。面对浩瀚的文本资源，传统的文档和文本处理工具已经不能满足用户的需求。于是在人工智能研究领域结合结构化数据库中的数据挖掘技术，提出了一种有效的、可以充分利用这些文本数据的新的信息处理技术——文本挖掘。 评论挖掘是目前数据挖掘、文本挖掘、自然语言处理等领域的热点研究课题之一。在几年的时间中，无论在英文领域还是在中文领域，观点评论挖掘技术都取得了很大的进步。 国外评论分析发展状况 在国外，2002年是评论挖掘开始兴起的一年。在这一年里，首先Peter[1]提出将语义倾向性应用在非监督的评论分类上，并设计了一个简单的算法。该算法目的就是将评论分为两类，推荐(recommended)和不推荐(not recommended)。一段评论将有包含在该评论中的形容词和副词的语义倾向性决定，也就是说，如果一段评论的平均语义倾向性为正，则可以把该评论划分为推