在线评分析系统.docVIP

功能需求文档 一、系统名称：在线评论分析系统 二、主要功能： （1）能够抓取移动app市场页面，并从页面中提取出评论区信息 评论者、评论对象（app应用）、时间、评论文本等 对评论文本进行特征和意见词抽取 根据特征和意见词对评论文本进行准确的情感倾向分析 利用网站进行结果展示和后台管理 系统功能模块 将系统划分为以下几个模块：页面抓取模块、特征和意见词抽取模块、情感分析模块、数据存储模块和用户交互模块。各个模块的具体功能如下： (1) 页面抓取模块 本模块包含两个子模块：页面抓取模块、页面内容提取模块。 ①页面抓取模块的功能是利用网络爬虫技术对互联网上的网页进行抓取，保存链接地址、页面 html、应用市场、应用名称等信息。 ②页面内容提取模块的功能是对抓取到的 html 页面进行解析，提取出评论区中的评论正文、发布时间、作者等有用信息。 （2）特征和意见词抽取模块分词模块 本模块包含两个子模块：分词模块、特征和意见词抽取模块 ①分词模块的功能是对评论文本进行中文分词及词性标注。 ②特征和意见词抽取模块的功能是提取出评论文本中描述对象实体的特征词，如内存小、流量大、界面难看等等 （3）情感分析模块 该模块是本系统的关键模块，包含两个子模块：特征权重计算模块、分类模块 ①特征权重计算模块的功能是提取出文本的特征并计算其特征权重后，将文本保存成向量空间模型。 ②分类模块的功能是使用台湾大学的 libsvm模块进行分类。主要提供两个功能，即模型的训练和对新文本进行分类。 （4）数据存储模块 将页面的内容、情感分析结果等信息存储到数据库中 （5）用户交互模块 提供系统与用户的交互，包括分析结果的展现、用户配置选项、系统管理等 系统运行机制 系统开始运行后，页面抓取模块读取数据库中的用户配置信息，根据配置信息抓取网页，然后对抓取到的网页评论区中的文本内容进行提取，抽取出特征和意见词后，对评论文本进行情感倾向分析，将页面内容及分析结果保存在数据库中。用户通过浏览器访问 web 服务器，web 服务器将数据库中存储的分析结果返回后,以网页的形式呈现给用户。用户还可以通过浏览器进行一些自定义配置，这些配置信息将写入数据库中，页面抓取模块会定时更新配置信息。 系统开发和运行环境 本系统开发平台为 64 位 Linux 系统，页面抓取模块、页面内容提取模块和情感分析模块的开发语言为 python，web 开发语言为 php，数据库选用 MongoDB，使用的主要开发和调试工具有 eclipse、pydev、vim 和 IPython，web 服务器选用 Apache。 设计要点与说明 抓取模块 需要抓取/ISP/siteappchannel/pubList中显示的所有应用市场中的APP应用的评论区信息，按应用市场分类。 （3）情感分析模块 实现对评论的情感倾向分析，准确率70%以上 预留开发接口、可对分析算法进行替换 用户交互模块 可配置抓取的应用市场、情感分析算法 界面可选择查看APP应用市场，有应用搜索功能 情感分析的结果： 按单个应用展示：3-4个关键的特征和意见词展示，正、负、中性评价条数和趋势图表（时间x轴） 4、……待续 情感分析模块设计参考 基于 3.2 节的算法研究，本文设计出的面向新闻和博客文本的情感分析模块的流程如图 5-8 所示。本模块包含了两个处理过程，训练过程和测试过程。其中，训练过程是使用已经标注好的语料集进行分类器的训练，测试过程是使用训练好的分类器进行情感分类。算法测试时，首先运行训练过程来训练分类器，然后通过测试过程来测试情感分类的准确度。在实际工程应用中，提前使用标注好的训练语料生成训练模型，然后将模型和分类器准备好，待分析的文本经过文本预处理（主要是分词和词性标注）、特征提取和权重计算等步骤后，进入分类器，使用分类器将其分到相应的类别中。 特征提取与权重计算子模块 本子模块在提取出文本的特征并计算其特征权重后，将文本保存成向量空间 模型。将本子模块定义为类 FeatureExtract，类的成员包括： sentiment_words # 情感词集合 neg_words # 否定词集合 shift_words # 转折词集合 punc_dict # 情感标点符号集合 adv_words # 程度副词集合 features # 特征字典 类提供的方法有： __init__(self, senti_path, neg_path, punc_path, shift_path,adv_path) # 构造函数，参数为词典路径 load_dict(self, dict_path) # 读