中文微博情感分析评测大纲（修订版）.PDFVIP

中文微博情感分析评测大纲(修订版) 1. 评测对象 本次评测的对象是面向中文微博的情感分析核心技术，包括观点句识别、情感倾向性分 析和情感要素抽取。 2. 任务设置 本评测设置了如下3 个子任务，其中任务1 是必选任务，任务2 和任务3 都是基于任务 1 的，参赛队伍可以选做。 2.1 观点句识别 针对每条微博中的各个句子，本任务要求判断出该句是观点句还是非观点句。 提交格式: id run-tag weibo-id sentence-id opinionated 说明 id ：结果序号 run-tag ：队伍结果标识 weibo-id ：微博id sentence-id ：句子id opinionated ：观点句标识，是观点句则为Y ，非观点句则为N 注：run-tag 的格式为“队伍标识_提交结果组号”，队伍标识可自定，组号用于区 分同一队伍的多组提交结果。不同字段之间用\t 隔开。下同。 例如如下两条微博： weibo1 ： weibo id=”1” sentence id=”1” 渭南城管撕春联事件在成都公交车上的分众传媒广泛报道！ /sentence sentence id=”2”渭南城管真变态啊！/sentence /weibo weibo2: weibo id=”2” sentence id=”1” #iPad3#这么麻烦的东西怎么还有那么多人在用，又是越狱又 是破解。/sentence sentence id=”2” 顺便问一下怎么越狱啊？/sentence /weibo weibo1 中有两个句子，第一句是非观点句，第二句是观点句。weibo2 中有两个句子， 其中第一句是观点句，第二句是非观点句。则正确的输出结果为： 1 xyz 1 1 N 2 xyz 1 2 Y 3 xyz 2 1 Y 4 xyz 2 2 N 注：本评测中观点句的定义不包括表达自我情感、意愿或心情的句子，比如“我感到很 高兴”这样的句子是情感句，但不属于本评测定义的观点句。本评测定义的观点句只限定于 对特定事物或对象的评价（例如“我真心喜欢iphone 的屏幕效果。”），不包括内心自我情感、 意愿或心情。 评价标准 本任务使用正确率（Precision ），召回率（Recall ）和 F 值（F-measure ）来评价各个参 赛队伍对观点句的识别结果。其计算公式如下： # system _ correct (opinion Y ) Precision # system _ proposed (opinion Y ) # system _ correct (opinion Y ) Recall # gold (opinion Y ) 2 Pr ecision Recall F-measure Pr ecision+Recall #gold 是人工标注结果的数目，#system_correct 是提交结果中与人工标注匹配的数目， #system_proposed 是提交结果的数目。 2.2 情感倾向性判断 本任务要求判断微博中每条观点句的情感倾向。评测数据集包含每条微博中的各个句子， 参赛队伍需要先进行观点句识别再进行观点句的倾向性分析。观点句的情感倾向可以分为正 面（POS ），负面（NEG ）和其他 （OTHER ）。 提交格式： id run-tag weibo-id sentence-id polarity 说明 id ：结果序号 run-tag ：队伍结果标识