中文微博情绪识别-评测大纲.pdfVIP

NLPCC2013 中文微博情绪分析评测大纲 1. 评测对象 本次评测面向中文微博中的情绪分析，对整条微博的情绪判别和分类，以及情绪句的识 别和分类的算法和技术进行评测。 2. 任务设置 本次评测设置了如下两个任务： 1）微博情绪识别与分类（必选任务） 2 ）情绪句识别和分类（可选任务） 2.1 微博情绪判别及分类（必选任务） 对于输入的整条微博，本任务要求判断出该微博是否包含情绪。对包含情绪的微博，要 求判别其情绪分类输出为anger 愤怒、disgust 厌恶、fear 恐惧、happiness 高兴、like 喜好、 sadness 悲伤、surprise 惊讶中的一种，即单分类输出。需要注意的是，一条微博中可能包含 多个个体的不同情绪，情绪分类应以博主的主要情绪为准。评测使用的情绪分类体系基本沿 用大连理工建立的情感词汇本体。（详见徐琳宏, 林鸿飞, 潘宇, 任惠, 陈建美. 情感词汇本 体的构造．情报学报, 27(2):180-185, 2008. ） 输入数据格式为xml, 例如： weibo id=”1” sentence id=”1” 难道是花样男子？/sentence sentence id=”2” 只有一小块屏幕还是看得很开心/sentence /weibo 提交格式为 id ：评测任务序号 微博情绪分类为1 team-tag ：队伍结果标识 run-tag ：提交结果组号（同一队伍可以提交至多4 组结果，其中 Open/Close 测试分别提交 至多2 组结果） run-type: Close 测试标记为C，Open 测试标记为O, 详细说明见第4 节评测方法部分。 weibo-id ：微博id emotion-tag ：微博情绪标识，包含情绪标记为Y ，无情绪标记为N emotion-type: 博主主体情绪的类型: anger、disgust、fear、happiness 、like、sadness、surprise 中的一种。无情绪标记为none. 针对上例，提交结果如下 1 team_name 1 C 1 Y happiness 评价标准： 微博情绪判别任务使用正确率（Precision ）、召回率（Recall ）和 F 值（F-measure ）来 评价各个队伍对于这一子任务的识别结果，其计算方法如下： #_ Precision #_ #_ Recall # 2 F measure 其中#gold 是人工标注结果的数目，#system_correct 是提交结果中与人工标注匹配的数目， #system_proposed 是提交结果的数目。 在微博情绪分类任务中，使用宏平均（Macro ）和微平均（Micro ）的准确率（Precision ）、 召回率（Recall ）、F 值（F-measure ）作为评价指标，具体计算方法如下： 1 #_ Macro_Precision 6 #_ 1 #_ Macro_Recall 6 # 2 _ _ Macro_F measure _ _