中文词汇语义关系抽取评测大纲.pdfVIP

中文词汇语义关系抽取评测大纲 （修订版） 1．评测对象 本次评测的对象是中文词义语义关系（包括同义关系、上下位关系）抽取中的核心技术。 2．任务设置 本次评测包括2 个子任务：同义词发现和下位词发现。 2.1 同义词发现 对给定词表中的每个词，本任务要求找出该词的同义词。同义词的来源不限定于给定词 表，可以从其他资源（例如词典、互联网等）中获取。 同义词（同义异形词），指表达的意义相同或相近，但表达形式不同的词汇。其主要形式 包括： 别名/俗称：包括书面语和口头语、学名和俗称、不同地区的称谓差异等。例如“计算 机”和“电脑”互为同义词。“操作系统”（大陆）和“作业系统”（台湾）互为同义词。但 仅为简体/繁体写法差别的，例如“计算机”和“計算機”，是同一个词汇，而不是同义词。 全称/简称：例如“中华人民共和国”与“中国”互为同义词。 异形词：指在普通话书面语中并存并用的同音、同义而书写形式不同的词语，例如“笔 画”和“笔划”互为同义词。 外来语译名差异：外来语有时存在多种翻译形式，它们之间互为同义词。例如“奥巴马” 和“欧巴马”互为同义词。 语义近似：指语义、语用上相近的词，例如“尊敬”和“敬重”互为同义词。 2.2 下位词发现 对给定词表中的每个词，本任务要求找出该词的下位词。下位词的来源不限定于给定词 表，可以从其他资源（例如词典、互联网等）中获取。 下位词指其语义内涵包含在另一个词汇（称为上位词）内涵之中的词汇。即下位词是上位 词的一个特殊实例。例如“水果”的下位词包括“苹果”、“梨”、“菠萝”等。“国家”的 下位词包括 “中国”、“美国”、“日本”等。“文本分类方法”的下位词包括“支撑向量 机”、“贝叶斯分类”、“K 近邻”等。 本次评测中，下位词不包括采用一般限定语修饰给定词所构成的合成词（或词组）。例如 “中国城市”不是“城市”的下位词。“红苹果”不是“苹果”的下位词。但专有名词不在此 列。例如“冠状病毒”仍认为是“病毒”的下位词。“红富士苹果”仍认为是“苹果”的下位 词。 下位词不包括整体-部分关系。例如“车轮”不是“汽车”的下位词。“省”不是“国 家”的下位词。 3. 评测方法 3.1 评测方式 本次评测为离线评测。参评单位自行处理数据，生成相应结果后提交。答案采用人工标注 的方法确定。 3.2 评测步骤 1) 评测单位预先提供测试样例（包括答案） 2) 评测单位给出测试数据 3) 参评单位运行被测系统，得出测试结果 4) 参评单位提交测试结果 5) 评测单位标注答案，运行自动评测程序，统计评测结果 3.3 评测指标 评测采用三个指标：正确率（Precision ），召回率（Recall ）和 F 值（F-measure ），分别计 算其微平均和宏平均值。 3.3.1 微平均 微平均以每个语义关系为一个计算单元，具体计算公式如下： 正确率 表示发现的语义关系（同义或下位）中出现在标准结果中的比例，计算公式如下： 发现的语义关系中出现在标准结果中的数量 正确率 ×100% 发现的语义关系总数 其中，词表中的每个词汇与发现的每个同义词（或下位词）为一条语义关系。发现的同义 词之间的关系不计算在内。 召回率 表示标准结果中被正确发现的语义关系比例，计算公式如下： 发现的语义关系中出现在标准结果中的数量 召回率 ×100% 标准结果中的语义关系总数 F 值 是正确率和召回率的调和平均数，计算公式如下 2 × × 正确率 召回率 F值 +