中文语义依存分析评测大纲.pdfVIP

中文语义依存分析评测大纲 一、评测对象 本次评测的对象是中文句子的词语之间的语义及句法依存关系分析技术。 二、评测内容 本次评测主要评测依存关系分析系统对中文句子进行依存分析的准确性。 三、评测方法 1. 评测方式 本次评测为离线评测，参评单位自行处理数据，生成相应结果后提交。训练语料将提前 1 个月公布。 2. 评测步骤 1) 评测单位预先给出若干训练数据（已标注依存分析结果）； 2) 评测单位给出测试数据（未标注依存分析结果）； 3) 参评单位运行被测系统，得出测试结果； 4) 参评单位提交测试结果； 5) 评测单位标注答案，运行自动评测程序，统计评测结果。 3. 评测标准 1) 量化指标 本次评测采用三个指标对被测试系统进行评测，分别为： i. 依存标注准确率（Labeled Attachment Score, LAS ） ii. 依存准确率（Unlabeled Attachment Score, UAS ） iii. 标注准确率 （Labeled Accuracy, LA ）