藏文文本规范化处理研究.docVIP

　　藏文文本规范化处理研究 摘要：本文通过对藏文文本中不规范文本进行分类后，针对不同类型的文本特征制定规范化处理方法，最终实现了对藏文文本的规范化处理。但因藏文文本来源的不确定性，文本中可能会存在一些未收集到的不规范文本类型，需在后期的研究工作中继续收集整理。 中国 8/vie 　　关键词：信息处理； 藏文文本； 规范化 　　中图分类号： TP391 　　文献标志码：A 　　： 2095-2163（2016）06-0029-03 　　0引言 　　[JP2]藏文文本规范化处理主要是对藏文文本做版面分析，识别并规范藏文文本中可能出现的非正常藏文字符的过程。藏文文字属于符号文字，藏文文本中除包含正常的藏文字符外，还可能会出现借形词、特殊符号、黏着语等一些特殊字符形式＼[1＼]。这些藏文特殊字符的存在会直接影响到文本信息处理的正确性。在规范化处理时，需在正确理解其产生原因的基础上确定相应处理方式，依据其所处语境设定相应规则将这些符号转换成规范的藏文文本形式。在藏语字音转换系统中，对非规范形式的藏文文本进行规范化处理能保证后续字音转换顺利完成，因此对藏文文本规范化处理是一个必不可少的基础工作。 　　[JP3]本文通过对藏文文本进行分析，确定藏文文本规范化主要有2个任务：第一个任务是特殊符号归一化；第二个任务是外借词藏文化。在此，拟将针对每一部分研究给出如下分析论述。[JP] 　　[BT4]1特殊符号归一化 　　藏文文本规范化主要是指在藏文文本中出现的一些非常用藏文标记符号以及其它有特殊含义的符号，这些特殊符号的存在会对后期文本理解造成歧义。 　　[BT5]1.1标记符号归一化处理 　　在藏文文本中可能会存在这样一些符号，这类符号有些能够表达语言功能，有些只是文本中存在的装饰性图案，这些标记符号对语音并没有任何作用，因此在获取规范化设计时即需要进行归一化处理。 　　根据目前从各类文献中收集藏文符号和图形的分析，藏文文本中的字符与图形可以划分为文字符号与非文字符号两大类。其中，文字符号除了包括能够书写语言声音的藏文字符外，还包括描写声音连接、停顿和结束的符号；非文字符号可以表示某种事物或观念意义，但与语言声音无关，主要包括篇章符、敬重符、历算符等＼[3＼]。 　　藏文文本中出现的藏文标记符号，一般没有实际语义，所以对这些符号推行规范化处理时，只需要获取其出现的特征标记以及对应的编码形式，通过建立标记符号替换规则表，然后在待处理的文本中识别出这些符号，利用标记符号替换规则表即可实现归一化处理。 　　[BT5]1.2其它类型特殊符号归一化处理 　　其它类型特殊符号规范化处理时，首先收集整理可能出现的符号类型以及其表示的具体语义；其次是确定标准的藏文文本表示形式；最后再建立对应的映射规则表。规范化处理时直接通过映射规则表查找出对应的符号，再将其利用表里的标准藏文文本形式代替即可。映射规则表如表1所示。 　　2外借词藏文化处理 　　因藏文文本的网络化传播，许多藏文文本中存在这样一类词，这一类词借用藏语以外的其他民族?Z言字形，但是却需要按照藏语的读音来读，这类词就是外借词。外借词主要有2种形式，一种是简略词形式，一种是数字符号形式。 　　[BT5]2.1简略词规范化处理 　　藏文文本中的简略词，主要来源于其它语种中一些事物缩略表示形式。简略词的存在会影响对藏文文本的正确分析，因此对简略词规范化处理在自动注音系统中非常重要。 　　一般而言，藏文文本中包含的简略词主要有2类：一类是常用的单位简写形式。例如：mm、cm、kg等，这种形式需要转换成藏文进行发音；另一类是一些特殊名词的简略表示形式。例如：CO、LA、CA、DC、USA等，这一类外借词在规范化处理时直接按照原来的形式与藏文分开。简略词规范化处理主要是通过建立简略词转换表来获得实现的，简略词转换如表2所示，具体处理过程如下[3]： 　　1）首先对已进行符号归一化处理的藏文文本按照句子进行切分，其次将藏文句子按照藏文文本、数字符号以及其它文本进行识别并标记，以此得到3类不同的字符块。 　　2）将切分后的句子中所有文本块分别在简略词表中查找，若在简略词表中，转3），否则转4）。 　　3）查找结果在上下文中进行一一对应，确定对应的规范化形式。 　　4）继续处理下一个句子。 　　2.2数字符号规范化处理 　　2.2.1数字符号种类 　　数字符号的表示形式主要有4类[4]，具体给出如下分析论述。 　　1）电话号码形式。固定电话号码形式相对一致，可能包含前缀符号、区号和普通号码三个部分，每部分之间可能存在分隔符号。一般而言，国内的电话基本一致，包含区号和普通号码两部分共计11个数字符号，其中区号部分有3～4个数字，普通号码有7～8个数字。如果一个文本块