线性链条件随机场训练算法优化研究.pdfVIP

指导小组成员名单 张世永 教授 钟亦平 教授 吴承荣 副教授 吴杰 副教授 摘要 由JohnLa舵ny等人在2001年提出的条件随机域(conditionalrandomfields， CRF)模型是机器学习领域的一个重要早程碑，它综合了以往机器学习叶1几种模 型的优点，包括隐马尔可夫模型，最犬熵隐马模型，同时也避免了MEMM中标 记偏见的问题。凶为它的这些优点，CRY被广泛应用于机器学习领域，特别是 自然语言处理中，包括命名实体提取、词性标注等。 在有着广泛的应用和众多的优点的同时。CRF也存在着不足之处。其中一 个显著的不足就是训练一个CRF模型需要耗费大量的计算资源。首先，CRF的 训练需要耗费大量的内存资源，在进行大数据量的训练的时候，所使用的内存常 常会超出微机的物理内存，使得操作系统使用磁盘作为交换空问．大量的I／O操 作会严重影响训练效率：其次，CRF训练的计算本身也需要耗费大量的计算时 间，数据量大的训练通常需要耗费数天甚至数周才能完成。这不仅仅是因为算法 本身的复杂度，还跟目前的算法没能有效利用现代计算机硬件特性有关。 本研究的目的是，通过优化CRf的训练算法，使得算法可以有效利用现代 CPU的特性．并使内存．磁盘问的数据交换操作得到优化，从而提高CRF模型的 训练效率。同以往的CRF相关研究不同，本研究从一个计算机架构的角度研究 了提高CRF训练效率的方法。就我们所知，目前通过优化算法来有效利用现代 计算机特性来的研究也较多，但针对CRF算法的目|ji『还尚未出现。由于CRF被 广泛使用在机器学习领域，本研究可以让使用CRF的研究者和开发人员在测试、 应用算法模型时节省太量的时间和精力。 本文从以下三个方面解决CRF训练效率低下的问题： Cache失效率。设计一个适合Cache预取 1通过优化算法，降低CPU 的算法，uT以通过使用现代CPU的软件颚取(soltwareprefetching)指令， 降低CPUCache的失效率，从而减少cache失效带来的性能损失； 2通过优化算法，使得算法中计算的并行性得到提高。设计算法充分 利用CPU特性，可以提高CRF训练时计算的并行性： 3设汁基于外存的CRF训练算法。当内存使用很大时，可以让训练程 序臼主锊删磁盘操作，避免让操作系统束管理，从而减少了大量的数据交换 操作．大幅提尚了效率。 本文实验结粜显示，政进的CRF圳缘算浊确实柏效提高丁训练教率，特制 是对于规模越人的任务．效果的提升就越明显。表明本文的算法确实适合大规模 的训练任务。 Abastract The ofConditionalRandom amilestoneinthe proposal Fields(CRFs)is history ofseveraikinds ofmachinelearningCRFsintegratedtheadvantages ofprobabilistic excludedthe ofthemBecauseoftheintrinsic models，and disadvantages advantages are usedinmachine innatural possess．CRFswidely learningfield，especially they field processing language the the CRFsalsosuffer矗oms