024021中文信息处理技术评测综述.pdfVIP

第 4 卷 第 2 期 2008 年 2 月 中文信息处理技术评测综述 刘 群 钱跃良 关键词：评测 中文信息处理 中国科学院计算技术研究所 些因素也许恰恰会对实验结果造成重大影响。 引言 所以，如果没有共同的数据，一个研究者的实 验很难被另一个研究者所重复。而不同的研究 中文信息处理技术涵盖的范围很广，大体 者如果采用不同的数据进行实验，其结果几乎 来说包括语言处理技术、语音处理技术和文字 不具备可比性。这样整个研究领域的进展就会 处理技术等几大类。近十几年来，这些领域的 变得非常困难。为了解决这个问题，一些公开 研究都取得了很大的进展，并且在发展的过程 的技术评测应运而生。 中呈现出一个重要的共同特点，即公开的、定 在公开的技术评测中，由评测的组织者给 期的技术评测对这些领域的发展起到了重要的 出共同的数据集，制定统一的测试方法和评价 推动作用。甚至可以说，若没有这些技术评测 标准。这样，不同的研究者就可以在相同的条 可能就无法取得这样大的进展。 件下进行实验比较，并且可以重复别人的实验 产生这一现象的原因在于这些领域的一 结果，从而得到可比的数据。这种评测受到研 些共同特点。众所周知，科学实验中一个重要 究人员的普遍欢迎，对研究工作起到了很好的 的原则就是可重复性。任何一篇有学术价值的 促进作用。这种公开的、周期性的评测为中文 研究论文，其必要条件是文章中给出了足够的 信息处理技术领域的研究工作带来了一种新模 细节，使得其他研究者可以重复其实验结果。 式，而且该模式正逐渐成为这一研究领域中最 不过，在语言、语音和文字等计算机处理技术 主要的模式。 领域中，实验的可重复性面临着一个严重的问 这种研究模式具有如下主要特点： 题—由于这个领域的实验需要使用大量的数 1. 定期举办公开的技术评测，在评测中， 据，这些数据不可能在一篇论文中给出来，而 给定公共的训练数据集、测试数据、测试方法 这些数据的采集通常具有非常大的偶然性， 和评价标准； 同一个方法在不同的数据条件下得到的结果差 2. 各研究单位根据评测要求自行开发系 异可能会非常大。这样，一篇论文所介绍的研 统，并提交结果； 究方法对另一个研究者来说，就很难重复。比 3. 评测组织者对各单位提交的结果进行评 如，对于语音识别而言，影响实验结果的因素 价，并在一定范围内公开评测的结果； 可能有说话人的性别、年龄、口音、录音的环 4. 各参加评测的单位提交参加评测的系统 境、录音时的噪音、话筒的质量、说话的方式 报告，详细介绍系统所采用的方法； （自然方式还是朗读）等。有时，人们通常容 5. 评测组织者组织研讨会，在会上参评单 易忽略一些看起来似乎微不足道的因素，而这 位报告各自参加评测的技术细节，并进行学术