N- L- Pamp;- C- C-2013跨语言情感分类评测课件.pptVIP

我的报告到此结束，谢谢各位。 * 北京大学计算机科学技术研究所 北京大学计算机科学技术研究所 万小军 北京大学计算机科学技术研究所 * 评测背景 情感分类随着网络评论的海量增长受到人们越来越多的重视。 情感分类系统通常依赖于标注语料并结合分类算法来实现。然而，情感标注语料的分布在不同语言下是极不均衡的。 因此在当前语言的标注语料缺乏时，利用其他语言的资源来实现情感分类已经成为了一个热门的研究课题。 * 评测任务介绍 本任务要求参赛队伍在仅利用组织方提供的资源的前提下，对测试集内的每条中文评论进行倾向性分类（正面和负面）。 评测资源包括： 英文标注数据 少量中文标注数据 英文情感词典 中文未标注语料 * 评测数据 英文标注数据 英文标注数据为 A 的用户评论，共包含 3 个不同领域：DVD，书籍，音乐。每个领域内有 2000 条正面评价和 2000 条负面评价。 英文情感词典 提供 MPQA 情感词典(Multi-Perspective Question Answering Subjectivity Lexicon)，共包含 2789 个正向词和 6079 个负向词。 * 评测数据 中文标注数据(验证数据) 提供包含 DVD，书籍，音乐三个领域的少量中文标注数据，正负例各 20条。 中文未标注数据 提供包含 DVD，书籍，音乐三个领域的大量中文未标注数据，正负例不均衡。 * 评测数据 测试数据 来自A的用户评论，DVD，书籍和音乐每个领域均包含 4000 条测试评论，其中正负向评论均为 2000 条。 * 参赛情况 本次评测共有7所单位参与，提交10组结果。 * 评测结果 评价指标 本任务使用准确率(Accuracy)作为评价指标。 ? 其中#system_correct 表示分类准确的评论数，system_ total 表示测试集内全部评论数。 由于测试数据中三个领域的评论数目相同，因此不区分宏平均和微平均结果。 * 评测结果 本次评测中有四队伍的准确率达到70%以上，最高结果为77%。（表格中为每单位最好结果） 单位编号 Dvd Accuracy Music Accuracy Book Accuracy Average Accuracy 1 0.4805 0.5030 0.4978 0.4938 2 0.6473 0.6605 0.5980 0.6353 3 0.5430 0.5295 0.5893 0.5539 4 0.7773 0.7513 0.7850 0.7712 5 0.7390 0.7325 0.7423 0.7379 6 0.7720 0.7453 0.7240 0.7471 7 0.7833 0.7595 0.7700 0.7709 * 论文录用情况 本次评测中有以下两篇论文被NLPCC 2013分别录用为Oral和Poster论文 Gui?Lin,?Xu?Ruifeng,?Xu?Jun,?Yuan?Li,?Yao?Yuanlin?and?Zhou?Jiyun.?基于混合模型的跨语言情感分析方法.哈尔滨工业大学深圳研究生院智能计算中心 炎祥?何,?续乐?刘,?强?陈,?松涛?孙?and?菲菲?牛.?基于句法分析的跨语言情感分析. 武汉大学计算机学院 * 探讨与展望 如何有效利用中文未标注数据？ 如何综合利用英文词典与英文标注语料？ 跨语言情感分类方法中的领域适应问题？ 针对不同语言迁移时方法的鲁棒性？ * QA 谢谢！ * * * * * * * * * * * * 精品文档 北京大学计算机科学技术研究所 北京大学计算机科学技术研究所 * * * * * * * * * * 我的报告到此结束，谢谢各位。 *