统计自然语言处理导论.PPTVIP

基于2-POS模型的主观句判别与基于CRFs和句法分析的中文微博情感分析 许歆艺，陈豪，黄晨 楼博文，李子钰，王康 指导老师：刘功申，苏波 上海交通大学信息内容分析技术国家工程实验室 目录 基于2-POS模型的主观句判别 基于CRFs(Conditional Random Fields, 条件随机场)的文本情感倾向性分析 基于句法分析算法的文本情感倾向性分析 基于2-POS模型的主观句判别 2-POS模型 N-POS模型是一种基于语料库的统计语言模型。在N-POS模型中，将词按词性(Part-Of-Speech，简称为POS)分类，再将语句中连续N个词性的顺序组合作为一个项，用这些项作为文本分类中的一个特征。 当N取2时，即将连续两个词语的词性组合成一个模式，就是2-POS模型。 基于2-POS模型的主观句判别总体流程图 计算2-POS的卡方值 设置2-POS主观权重 计算得所有2-POS的卡方值并取其中前15个作为主观模式。 使用每个选取为主观模式的2-POS的查准率作为这个2-POS的主观权重。 选取15个2-POS作为主观模式 选择主观评分阈值 最终结果 在选择阈值为0.0001的时候，查准率达到0.74126，查全率达到0.77196，均比较理想。 CRFs（Conditional Random Fields, 条件随机场) CRFs简介 CRFs是基于H