CIS730(IntroductiontoArtificialIntelligence)Lecture10.pptVIP

西南交通大学 西藏大学 藏文文本自动校对方法及系统设计 作 者：珠杰，李天瑞 二0一三年十一月十八日 目 录 引言 藏文文本自动校对系统 藏文文本自动校对方法 测试 结论 一 、引言 例子： ????????????????????????????????????????????? 拼写错误 梵音转写藏文错误 接续关系错误 词语错误 一 、引言 定义1：藏文音节拼写错误是指不符合藏文字性组织规则的无效藏文音节。 例1：“?????”写成“????”，“?????”写成“?????”等。这些错误可能是由于人为的输入错误，或者正字法知识的缺陷，造成的拼写错误。 定义5：语法语义错误是指不符合藏文语法结构规律或客观事理的句子错误，包含了语法错误和逻辑错误。例5：“???????????”写成“????????????”时态错误等。 定义2：梵音转写藏文错误是指由音节点隔开的藏文字符串不符合梵音转写藏文文法规则的无效梵音转写藏文。例2：“??????????????”写成了“???????????????”等。 定义3：接续关系错误是指不符合藏文格助词、不自由虚词接续关系文法的连接错误。例3：“????????????????”写成“?????????????????”。 定义4：词语搭配错误是指几个正确的藏文音节搭配成词语时，该词语不在藏文词典集合中的无效藏文词语。 例4：“?????????? ???????????????????”写成“??????????? ?????????????????”等。 二、藏文文本自动校对系统——系统框架 变精度粗 糙集模型 优势粗 糙集模型 经典粗 糙集模型 模糊粗 糙集模型 邻域粗 糙集模型 藏文语法和语义检查 藏文词语校对 梵音转写藏文校对 藏文接续关系检查 藏文音节拼写检查 二、藏文文本自动校对系统——拼写检查 A B 二、藏文文本自动校对系统——自动校对算法 藏文文本自动校对算法： 输入：藏文文本内容 输出：校对结果文本 1.藏文音节拼写检查，若拼写正确，转到3，否则，转到2； 2.梵音转写藏文错误检查，若正确，转到5；否则做标记错误，并转到5； 3.藏文的接续关系检查，若接续关系正确转到4，否则做标记错误，并转到5； 4.藏文分词，匹配词典，若匹配成功转到5，否则标记错误标记，并转到5； 5.输出校对结果 二、藏文文本自动校对系统——自动校对算法 输入藏文文本 藏文音节拼写是否正确？ 虚词接续关系是否正确？ 梵音转写藏文是否正确？ 标记错误 标记错误 标记错误 藏文词语是否正确？ 输出校对结果文本 N Y Y N N Y N Y 二、藏文文本自动校对系统——自动校对算法 三、藏文文本自动校对方法——各个环节的校对方法 （1）藏文音节拼写检查： 利用藏文音节规则模型进行拼写检查，参考“TSRM的藏文拼写检查算法” （2）梵音转写藏文拼写检查方法： 采用词典匹配方法，13765个梵音转写藏文字典为依据，进行检查。 三、藏文文本自动校对方法——藏文音节拼写检查 藏文音节模型-1 藏文音节模型-2 藏文音节模型-3 三、藏文文本自动校对方法——藏文音节拼写检查 算法1：藏文音节识别算法 输入：文本中的字符串 输出：藏文音节 bigin 创建一个文件读取对象 fr； 创建一个文件输出对象 output; 创建一个字符串对象st； 创建一个字符对象 ch； 创建一个字符串对象 syllable; ch—fr.read(); st—ch;//ch转为字符串 while(st不为音节点或藏文数字或其他语言符号) do syllable+=st; ch—fr.read();//读取下一个字符 end if syllable7 then syllable+=?//添加错误标记 output.write(syllable);//输出藏文音节 ch—fr.read();//读取下一个字符 syllable=0； else output.write(syllable);//输出藏文音节 ch—fr.read();//读取下一个字符 syllable=0； end end 三、藏文文本自动校对方法——藏文音节拼写检查 算法2：拼写检查算法 输入：藏文音节 输出：拼写检查结果 begin 创建读取藏文音节的对象fr； 创建输出结果的对象output； 创建字符串syllable； 创建boolean 类型 f1，f2； 创建Compare类型对象com；//比较字符串匹配是否成功 创建int类型的Pre