藏文机构名识别算法研究.docVIP

藏文机构名的识别算法研究 　　摘 要未登录词识别是藏文自动分词处理中的一个难点。本文对未登录词中藏文机构名的结构及其在文本的出现进行了深入的研究，建立了藏文机构名特征词库与前部词构造规则库，在此基础上提出了藏文机构名的识别算法 【关键词】藏文机构名 未登录词 特征词 藏文分词 1 引言 藏文自动分词是进行藏文自然语言处理的基础，在许多领域有及其广泛的应用，如藏语语言理解、信息检索、机器翻译等都需要对藏文进行分词处理。而藏文未登录词识别是藏文分词的重要处理内容之一，目前的藏文未登录词在藏文分词时一般很难达到实际要求 目前关于机构名识别的研究相对较少，相比于人名和地名其识别效果也比较差。国内外针对机构名的自动识别主要有三种：基于规则的方法、基于统计的机器学习的方法及统计与规则相结合的方法。相对于中文机构名的识别研究，藏文机构名等未登录词的识别研究少之又少，因此识别难度也很大 藏文机构名识别作为藏文未登录词识别的任务之一，是藏文信息处理中必不可少的基础，直接影响着藏文自然语言的处理。通过对文本中藏文机构名的分析发现，其识别难点主要有以下几方面： （1）随着经济和社会的发展，新的机构名不断涌现，旧的机构名不断被淘汰、改组或更名。如2.1 藏文机构名特征词库的构造 对藏文机构名的识别首先通过查找机构特征词开始，得到其在文中出现的位置。因此，本人通过参考《汉藏对照机关企事业单位名称》一书，采取以现有机关企事业单位名称为主，辐射公共场所和服务行业名称的方法，搜集此类机构特征词5000余条，作为识别的触发条件。如表1 2.2 藏文机构名前部词构造规则 藏文机构名的识别主要难度在于确定其前部词，因此，本文根据对机构名称本身和实际语料的分析，总结出几条规则： （1） 若机构特征词前为名词（一个或多个）时，该名词可为前部词。如：“????????????????”，“????????????????????????????? ”等 （2） 若机构特征词前为名词（一个或多个），而其后面是序数词时，该名词可为前部词。如：“??????????????????????????????”等 藏文机构名称的前部词部分一般只含名词或序数词，其中名词占大多数，序数词一般出现在特征词后等等 3 藏文机构名识别算法及实验结果 3.1 藏文机构名识别算法 本算法是基于藏文机构名前部词构造规则与特征词库而设计，算法的基本思想是：给定一个文本，对文本进行分词后根据分词结果查找藏文机构名特征词，若分词结果为特征词，在此基础上通过规则识别出机构名称，若不为特征词则对下一个分词结果继续进行查找 假定W表示给定的字符串， A表示机构特征词库，B表示构造规则库 算法： （1）读取W； （2）若W不为空，则对W进行分词处理； （3）判断分词后的结果是否在特征词库中； （4）若该分词结果存在于A中，则转（5），否则转（3）再循环； （5）归并规则B，并输出机构名并转（6）； （6）结束 3.2 实验结果与分析 在对实验进行评估时，采用了准确率（P）、召回率（R）和F值作为评测指标，三者的计算公式为： 为了验证此算法的有效性，从藏语新闻网上抽取了大规模的带有机构名的文本进行测试，测试结果如表2所示 4 结语 本文对未登录词中藏文机构名的结构及其在文本中的出现进行了深入的研究，建立了藏文机构名前部词构造规则库与特征词库，并提出藏文机构名的识别算法，较好的解决了藏文信息处理中识别机构名的问题 参考文献 [1]张小衡，王玲玲.中文机构名称的识别与分析[J].中文信息学报，1997，11（4）. [2]冷毛措，安见才让.藏文地名的识别算法[J].中国科技博览，2015（45）.