web文本情感分类中关键问题的研究信号与信息处理专业论文.docxVIP

北京邮电人学博士学位论文 北京邮电人学博士学位论文 摘要 WEB文本情感分类中关键问题的研究 摘要 随着计算机技术和互联网的迅猛发展，网络在线的文档成为现代主 要的信息载体，是人们生活中不可或缺的主要信息来源。而随着互联网 进入web2．0时代，人们从被动的接受门户网站发布信息，转变为主动的 获取、发布、共享、传播信息。同时，由于用户参与到信息的产生，网 络信息的内容形式也变得多样化，越来越多的具有个人观点性的内容充 斥着网络。这些观点性内容对于网络电子商务、网络社区发掘、网络信 息安全、网络信息检索等多方面都具有重要的意义和实用价值。对网络 文本观点性内容的自动情感分析成为近期web信息处理的一个研究热 点，而其中的核心技术就是文本情感分类。 在这样一个背景下，本文对面向web文本的中文分词、文本情感分 类以及Weblog观点检索问题进行了下述创新性研究工作： 首先，研究了面向web文本的中文分词问题。根据web文本环境的 特点，研究重点在于中文分词中的未登录词识别问题，同时兼顾切分歧 义消解、整体切分准确率和高效处理海量文本的能力。在未登录词识别 方面，提出了POC．NLW字符标记模板，从字符级别的粒度来表征中文 词汇的构成机制，并结合隐马尔可夫模型，实现了基于字符序列标注的 中文分词方法。此外，分别使用了基于规则匹配的预处理、基于词典匹 配的初级全切分、基于词语级别的N．Gram统计切分模型，并通过级联方 式将上述各模块有效组合，构成了多模型混合的层叠系统。实验结果表 明，本文提出的基于POC．NLW模板标注的切分方法具有较强的未登录 词识别能力；而多模型混合的层叠系统在整体切分精度和未登录词识别 方面都达到了较高的实用水平。另外，本文提出的系统还具有高效的建 模和切分处理速度，具有面向海量web文本切分的实用性能。 第二，研究了web文本情感分类问题，主要包括文本的主客观分类 和正负面极性分类两个子问题。在语言特征表示方面，对比研究了基于 北京邮电人学博上学位论文 北京邮电人学博上学位论文 摘要 多种N．Gram语言特征模板的文本特征表示方式；在文本特征加权方面， 对比r布尔、绝对词频、归一化词频以及基于TFIDF的特征加权方式； 在特征选择方面，提出了全局TFIDF显著指数，引入“全局过滤．局部加 权”的特征抽取方式；在情感分类模型方面，以朴素贝叶斯模型做对比， 详细研究了最大熵模型的最大似然估计问题，采用高斯先验和指数型先 验，对传统的最大熵模型进行改进。通过在真实网络电影评论数据集上 的详细对比试验，以及对语料样本的分析，证实了采用高阶语言特征模 板、基于TFIDF的特征选择和过滤方法、加入指数型先验的最大熵模型 较好的适用于文本情感分类问题。 第三，研究了Weblog观点检索问题，以TREC Blog Track评测为主 线，主要研究了面向blog文档的主题检索和文本情感分类技术在观点检 索中的应用。首先，针对Weblog文档的特点以及观点检索的特殊性，在 Weblog文档的HTML解析、噪声标签过滤、文本内容提取、词形还原等 预处理方面作了技术改进；之后，以Indri检索系统为研究平台，利用结 构化查询语言和web搜索引擎进行查询扩展和结构化查询主题构造，并 采用基于文档标题字段的域查询，有效的提高了基本的ad．hoc主题检索 的性能；在Weblog观点检索方面，使用基于最大熵的主观性内容判别模 型，并提出了分类器自学习的策略，实现不同数据集之间的知识传递， 在Weblog数据集上有效建模；同时，分别构建了句子级别和文档级别的 最大熵模型，并将两者组合构成层叠式的Weblog文档观点性内容判别模 型。在Blog Track数据集上的评测指标表明，本文构造的Weblog观点检 索系统达到了较高的性能水平。 关键词：中文分词POC．NLW模板情感分类最大熵观点检索 lI 北京邮电人学博：I：学位论文 北京邮电人学博：I：学位论文 ABSTRACT RESEARCH ON KEY PROBLEMS IN WEB TEXT SENTIMENT CLASSIFICATION ABSTRA(玎 As the rapid