基于支持向量机方法中文组织机构名识别.docVIP

基于支持向量机方法中文组织机构名识别 　　摘要:在应用基本的支持向量机算法的基础上，提出了一种分步递增式学习的方法，利用主动学习的策略对训练样本进行选择，逐步增大提交给学习器训练样本的规模，以提高学习器的识别精度。实验表明，采用主动学习策略的支持向量机算法是有效的，在实验中，中文机构名识别的正确率和召回率分别达到了81.7%和86.8%。 　　关键词:机构名识别; 支持向量机; 主动学习 　　中图分类号:TP301.6文献标志码:A 　　文章编号:1001－3695(2008)02－0362－03 　　 　　中文组织机构名的识别是中文信息处理中的一个重要任务，也是命名实体识别(named entity recognition)研究的重点之一。命名实体包括人名#65380;地名#65380;机构名和时间短语等。组织机构名是其中非常重要的一部分。有统计数据显示，中文组织机构名在命名实体中的比例为20.2%[1]。机构名泛指机关#65380;团体或其他企事业单位，包括学校#65380;公司#65380;医院#65380;研究所和政府机关等组织机构的名称。由于这类词涉及广泛#65380;种类繁多#65380;形态各异#65380;随时间不断变化，并且中文机构名又不存在英文中那样明确的形态标记，其识别的难度较大。 　　目前中文机构名的识别方法主要有基于规则和基于统计两大类。研究较多的是基于统计的方法，所采用的方法包括隐马尔科夫模型[2]#65380;最大熵模型[3，4]等，取得了一定的效果。采用统计方法的系统性能与所使用的标注语料的领域和规模密切相关。机构名的构成很不稳定，随着领域和时间的不同会有很大的变化。语料的标注耗时耗力，往往成为提高系统性能的关键性问题，也限制了系统在不同应用领域之间的移植，难以满足其真实应用的需求。 　　在统计学习理论的基础上发展起来支持向量机(support vector machine)是一种新的通用学习方法。与过去的一些统计学习方法相比，基于结构风险最小化原则的支持向量机已经表现出一些优越的性能。特别是在样本集有限的情况下，它往往能取得优于其他方法的结果。目前，支持向量机已经应用于自然语言处理的许多领域，如文本分类#65380;浅层句法分析#65380;专名识别等，都取得了不错的效果。本文即是支持向量机在中文机构名识别方面的一些尝试性研究:用支持向量机对切分正确的语料中的中文机构进行识别，并在样本选择和模型训练时，结合主动学习的策略，提高学习器精度并减少人工样本标注的成本。 　　 　　1支持向量机的基本原理 　　 　　1.1最优分类超平面 　　 　　即支持向量机的标准形式[5]。 　　由于支持向量机基于结构风险最小化的原理，有效地控制了VC维，具有良好的泛化能力;通过把原问题转换为对偶问题，计算的复杂度不再取决于空间维数，而是取决于样本数，尤其是样本中的支持向量数，具有良好的高维处理能力。 　　 　　2主动学习策略 　　 　　2.1统计学习中主动学习策略 　　主动学习是一种迭代地从未标注样本中选择最富含有效信息的样本，然后交由人工标注的机器学习技术。由于学习器每次能够从大量的未标注文本中提取出一些最具有训练效用的样本，减少了那些对提高学习器精度帮助不大的冗余样本的标注，因而学习器只需更少的样本便能获得相同精度。主动学习的理论依据在于，通过系统地降低统计学习器的期望错误率可以做到对训练数据的优化选择。 　　基于不确定性的样本选择(uncertainty－based sampling)[6]是一种主要的主动学习策略。它首先让学习器对未标注实例进行标注并给出学习器对该样本标注的置信度度量;然后依据置信度度量来进行样本的选择。其依据就是那些学习器最不确定的样本对提升学习器精度的帮助最大。这类主动学习算法的重点就是构造一种合理的度量机制来评估学习器输出的标注序列的置信度。通常情况下，对输出为概率值的学习器，往往用样本不同标注的概率分布的熵来作为置信度。 　　2.2支持向量机方法的主动学习策略 　　采用基于不确定性的样本选择的主动学习策略通常需要学习器输出的是样本标注的概率值，而支持向量机的输出不是概率。为了解决这个问题，需要构造一种新的置信度的度量值。笔者知道基本的二分类的支持向量机输出的是一个判定值，其绝对值就是样本到最优分类超平面的距离。因此，一种直观的想法是将该距离作为学习器标注的置信度。文献[7]基于该想法提出了一种将支持向量机输出映射为概率的方法: 　　 　　其中:y是样本标注; f(x)是支持向量机输出的判定值;A#65380;B是需要确定的参数值。可以证明，在A0的情况下，该概率值与f(x)具有相同的单调性。事实上，由于并不需要知道确定的概率值而是它