句子对齐算法介绍.pdf

句子对齐算法介绍 Weigang LI IRLab, HIT 2002-11-6 对齐的算法的简单描述 给定双语语料，在所有可能的对齐中找出概率最大的对齐如 用公式表示，就有 arg max P (A / S ,T ) α 其中 A 是对齐文本，S 和 T 分别是英语和汉语文本。 一个对齐的例子 英语文本 汉语文本： Most of us, however, take life 但是，我们大多数人把生活认 for granted. We know that 为是理所当然的。我们知道， one day we must die, but 某一天我们一定会死，但通常 usually we picture that day as 我们把那天想象在遥远的将 far in the future. When we are 来。当我们心宽体健时，死亡 in buoyant health, death is 几乎是不可想象的，我们很少 all but unimaginable. We seldom think of it. The days 想到它。时日在无穷的展望中 stretch out in an endless vista. 延展着，于是我们干着琐碎的 So we go about our petty 事情，几乎意识不到我们对生 tasks, hardly aware of our 活的 倦怠态度。 listless attitude toward life. 对齐文本 Most of us, however, take life for granted.We know that one day we must die, but usually we picture that day as far in the future. 但是，我们大多数人把生活认为是理所当然的。我们知道，某一天我 们一定会死，但通常我们把那天想象在遥远的将来。 When we are in buoyant health, death is all but unimaginable.We seldom think of it. 当我们心宽体健时，死亡几乎是不可想象的，我们很少想到它。 The days stretch out in an endless vista.So we go about our petty tasks, hardly aware of our listless attitude toward life. 时日在无穷的展望中延展着，于是我们干着琐碎的事情，几乎意识不 到我们对生活的倦怠态度。 对齐的级别 双语语料库对齐可分为： 段落对齐 句子对齐 短语对齐 单词对齐 句子对齐的方法 基于长度的句子对齐方法 基于词典的句子对齐方法 基于长度和词典相结合的句子对齐方法 基于长度的句子对齐方法 源语言文本的长度与译文长度有很强的相关性 基于词数长度的对齐（Brown) 基于字符数的长度对齐方法(Gale Church) 基于长度对齐方法的特点 把句子对齐看作是句子长的函数； 不需要额外的词典信息； 缺点是容易造成错误的蔓延 基于词数长度的对齐（Brown ） Brown对Hansard语料库进行对齐时，引入了 锚点（anchor）的概念将整个语料库划分成一些 小的片段 采用语料库中特定的注释来作为锚点，使用动态 规划算法对