第一届中文倾向性分析评.pdfVIP

第一届中文倾向性分析评 测情况介绍 赵军、许洪波、黄萱菁 目录 背景和目标 任务3评测过程和评测结果 其他任务评测过程和评测结果 总结和展望 目录 背景和目标 任务3评测过程和评测结果 其他任务评测过程和评测结果 总结和展望 背景 文本倾向性分析已经成为自然语言处理中的热点问题 信息抽取 机器学习 信息检索 …. 国际重要会议上近几年的文章层出不穷 ACL WWW EMNLP SIGIR CIKM …… 在电子商务、信息安全领域也有很大的应用需求。 国际上针对文本倾向性分析的评测 TREC (Text REtrieval Conference) 主要面向英文Blog语料的观点检索 Blog Track （2006、2007、2008 ） 主要任务 给定Topic，要求在Blog网页中检索出与主题相关并且表 达了观点的网页。 同时判别检索观点的倾向性。 语料规模：三百万blog英文网页 评测方法 MAP、R-precisoin、B-bref、P@10等 参加单位 2006: 13家 2007: 20家 国际上针对文本倾向性分析的评测 NTCIR (NII Test Collection for IR Systems) 主要为了推动中、日、英文的IR、QA、Summarization、IE技术的发展 MOAT (Multiligual Opinion Analysis Task, NTCIR 6,7) 孙乐老师主持 语料：包括英文、日文、中文（繁体、简体） 繁体中文：10,000个句子 简体中文：5,000个句子 主要任务 句子主客观判别：判别给定句子是主观的还是客观的。 句子倾向性判别：判别给定句子的倾向性。 观点持有者识别：抽取观点句中的观点持有者。 观点目标识别：抽取观点句中的观点目标。 句子相关性判别：判别句子与给定主题的相关程度。 评测指标 准确率、召回率、F值 参加单位 NTCIR6：5家单位参加繁体中文 NTCIR7：8家单位参加简体中文 我们的目标 第一届中文倾向性分析评测 (Chinese Opinion Analysis Evaluation COAE2008) 建设中文倾向性分析基础语料库 建立中文倾向性分析词典 推动中文倾向性分析技术的发展 组织形式 主办机构 中文信息学会信息检索专委会 承办单位： 中科院自动化所 中科院计算所 复旦大学 负责评测语料的标注、评测的组织等工作 评测委员会 主席：黄萱菁、许洪波、赵军 委员：林鸿飞、秦兵、孙斌、孙乐、王明文、姚天昉、张敏、 朱靖波 任务设置 共包含6个任务 任务1：中文情感词识别 任务2 ：中文情感词褒贬分析 任务3：中文文本倾向性相关要素的抽取 任务4 ：中文文本主客观分析 任务5：中文文本褒贬分析 任务6：面向主题的中文文本观点检索（探索任务） 主要侧重如下三个方面技术的评测 中文情感词的抽取和分析 中文文本倾向性相关要素的抽取和分析 篇章级的中文文本倾向性分析，包括基于观点的信息检索 单位名称 参加的任务 参加单位情况 北京大学计算语言学研究所 3、4 北京大学言语听觉研究中心 1、2 、3、4 、5、6 北京拓