网络新闻评论观点挖掘系统实现 电脑资料.docVIP

网络新闻评论观点挖掘系统实现 电脑资料 网络新闻观点挖掘系统事实上本质是属于文本数据挖掘范畴的，对于文本挖掘的方式，在早期主要是基于Web文本挖掘领域的， 平时做了许多挖掘算法的研究，一直懒得去做一些能智能分析化的工具，恰好这次可以利用毕业设计的机会，做一个观点挖掘分析系统。系统设计的目标就是能对一则特定的新闻，通过利用千条评论数据，挖掘出其中的观点倾向分类，提供给人们信息参考。 系统主要模块分为4大模块，下面是主要的模块组成： 字典库是利用已经收集好的一个多达2w余条记录的txt文件，这个是比较简单的，但是数据源的获取就需要经过一些步骤，利用了之前我介绍过的QQ爬虫工具，详情点击这里，爬取的数据就是某条新闻页的部分评论数据。QQ评论数据爬虫的原理就是先去获取一个新闻详情页的HTML代码，做正则匹配，获得其中的cmt_id评论id，然后再发送另外一个请求url取获取真正的评论数据，在此次系统设计中，每次最多只能爬取50条数据，爬取总量为1000条，但是时间消耗会略久，30s左右。 在实现本次挖掘系统中同样需要有文本预处理的操作，但是文本预处理不会做的那么细，只是会粗糙的过滤一些数字词，连接符，以及一些无效词，比如像的这样的词语，这些词的过滤可以减少后面暴力匹配的次数，预处理完毕之后，以标点符号作为分隔符，进行观