人名翻译系统.pptVIP

人名翻译系统 李佳正 2011.3.16 一、语料 1、汉语拼音到拉丁拼音映射表 2、汉字到汉语拼音的映射表 4、百家姓 5、600W_chinese_seg.txt_12.ictclas.segmod 3、汉字到拉丁拼音的映射表 6、中文人名 用3、4过滤 7、人名词典（41607） 6、网上搜索常用人名，分别拼接20大姓（120620） 二、处理语料 1、用未去重的人名词典与20大姓的人名（共1066292）训练3元中文语言模型； 2、用12w句拉丁语语料训练2元拉丁语言模型。 3、将所有人名的汉字切分，形成姓、名字的第一个字、名字的第二个字三个独立文档； 三、人名识别及翻译 每次对相邻的两个字符串进行识别，步骤如下： 第一个字符串是否为姓 两相邻字符串是否可查 计算2元拉丁维语语言模型下两字符串拼接的概率值 小于阈值-6 否 是 是 否 是 否 计算姓和名的3元中文语言模型下的概率值 输出概率最大的姓名组合 将两字符串拆分成独立的姓和名，2或3个字 输出第一个字符串 四、测试集 1、随机抽取250句含有人名的维语句子。 2、120620个非词典中的人名 五、测试结果 1、维语句子测试结果： 翻 未翻 正确率 1000句 406 594 0.406 120620个 非名人名字 113978 6642 0.945 改进：用不含名字的维语语料重新训练拉丁维语的语言模型。结果如下 翻 未翻 正确率 1000句 526 474 0.526 120620个 非名人名字 118459 2161 0.982 2、统计前260行结果： 正确率：0.539 召回率：0.640 词尾拼接不可识别串：词尾拼接lar，ning； 拼写规则错误：映射错误，如ong写作ung，u写作ü 词尾拼接不可识别串 拼写规则错误 切分错误或不完整 语料错误 未识别 识别 共计 4 21 45 44 85 151 280 六、思考 维语人名会根据发音的不同有多种拼写形式，单纯的建立一对一的汉语拼音与拉丁拼音的映射，并不能很完全和完整的解决翻译问题。