面向文本组块获取的机器学习方法的研究-计算机软件与理论专业毕业论文.docxVIP

东北大学博士论文 摘要 要摘 要 从 50 年代初机铸翻译课题的提出 今，自然语言处理的研发历史 少也有 50 年了， 其间经历了从以通过自省方式学习符号文法和孚:汇编写规则为发要方法的现性主义到 日直在强调以对真实文本数据的统计分析和经验知识归纳为类要方法的绞验交义气这种趋 势还同计算机处理能力不断提高和文本数据积累不断增大密切相关，尊 11真实文本语育已 成为当前各种信息处理技术的叫个基本立场和出发点。 经验主义方法的复兴一方面是由于理性主义方法一直无法摆脱知识瓶颈问题的困扰， 但更为重要的是，正如 (Armstrong Warwick 1993) 指出的，经验.ì:义方法提供了解决自 然语育处理中长期存在的问题的方法，这些问题归纳为以下四个1? ìtii ， (1)语言知识的自动获取。各种相关的语言知识可以自动或半自动的从谛料中获取，而 不是来自语言专家的人工知识编码. 。)语言现象的覆盖范阁.在给定领域或应用的前提下，能够解释所有的语窗现象。 (3)健壮怯.对于真实数据中包含的噪音和在…些特定模型下无法解释的现象，仍然能 够很好的透m.帽 (4)可扩展性。可以很容易地将系统移植到新的领域或新的任务中去. 最近几年，机器学习的研究不断的篷勃发展，原因是多方面的，正如(D ietωrich 1997) 指出的，归予以下两个方面: (1)各种独立的研究团体，包括研究符号机器学习，计算学习理论，神经网络，统计和 模式识别的团体开始注意到了对方，并进行了广泛的合作. (2)机器学习技术应用到很多新的领域，如知识发现，语言 Z处理，机器人控制，组合优 化，和一些传统的问题，如语音识别，人脸识别，孚窍体识剔，医疗诊断等。 将机楼学习技术和自然语言 f 处现联系起来，是基于这样叫个骂事实，所有的自然语言 f 处 理问题都可以被描述成以下两种分类问题之一 (Dae1emans 1995)， (1)消峡.给 一组可能的类别和以腐傲和{臣表示的上下文信息，判断在该上下文环境 下，所属的正确然别， (2)切分.给定~个目标和上下文信息，判断在该上下文环境下，是否存在目标的边界 信息以及哪类边界信息. 当然，复杂的话育处理问题(句法分析)可以通过分解成…系列上泼问题.正是 1辈子 这样…个事实，本文的工作以文本组块获取作为应用背景，探讨了各种机器学习算法的实 现过程以及性能比较。在有指导的学习方法中，分别对统计的方该如 HMM ，符号的方法如 TBL. MBL ，Witmow ，以及其他的方法如SVM ，组合分类楼等进行了探入地分析利实践， 在半指导的学习方法巾，对 co-training 方法进行了尝试。 首先给出了组块分析体系和形式化定义，并将组块识别问题辛苦成一种分类问题，为应 用各种机椿学习方法提供了…个学习框架 东北大学博士论文 摘要 在有指导的学习方法中，首先对传统的 HMM 边行了改进，提出了增益的 HMM 来构 造更为准确的模型。利用转换函数将各种上下文信息导入训练模型中，在提高模型描述能 力的同时，保持了与原模裂一致的训练和标泼i立粮。实验结果表明， :7巳论汉语还是英语纺 块识别，新模型均比原模型有很大的提高。 接着探讨了 SVM 算法实现细节以及性能分析。 SVM 算法是目前公认的最好的文本分 类算法之一.在本文应用各单分类糠的级块识别结果中， SVMt且取得了最好的绩泉。在对 多项式核函数各个阶次的比较发现， SVM tE高维特征空间的确袋现了良好的泛化能力，在 与增益的 HMM 比较发现，日VM 在小样本统计模式识别方面表现出特有的优势.我们还着 王在讨论了蔑推式 SVM 和多类识别算法。 在此基础上，提出了基于 stacking 算法的组合分类器模型 ，组合分类精方法是近儿年机 器学习领域的一个热点，该方法由于可以取得比单分类器更好的性能而日益受到研究人员 的重视。我们构造了两层叠加式框架纺构，将 SVM，TBL ，Winnow ，MBL 四种分类器进 行组合，并与寨子 voting 算法的组合分类樱方法逃行了比较， 墨子 stacking 算法的组合模ll!l 无论在准确率还是召回*方面都取得了更好的结果。 我们尝试学指导机楼学习方法 cc叫树ning 方法。半指导机楼学习方法是有指导和无指导 机是墨学习两者的一个折中办法，它的踩则是:在不牺牲性能的前提下，尽:1:多的使用米带 标数据。在具体的组块识别过程中，分别从概率分布信息和上下文特征两个角度构造两个 分类穗，利用小规模的带标语料，对大规模的米标法语料进行标注.在标注过程中，将标 注一致的话料加入到带标语料，并对两个分类器进行反集训练，直到没有新的带标语料产 生。 最后，提出了基于词对齐的双语组块对齐算法，利用人工完成的词对