信息处理用彝文特殊词类分词规则概论.pdfVIP

信 息 处 理 用 彝 文 特 殊 词 类 分 词 规 则 概 述 金 骋 (西南民族大学 四川 成都 610041) 中图分类号：G64 文献标识码：A 文章编号：1673—5811f2013)03—0003—02 摘要：分词技术是中文所特有的计算机 自然语言处理技术，而分词规则是实现分词技术的前提。彝文分词规则的制定是彝文信息 处理技术最重要的组成部分。本文详细制定了彝文信息技术特殊词类的分词规则，为彝文信息处理向智能化阶段迈进打好最坚实 的基础 。 关键词 ：分词 彝文分词 分词规则 分词技术是中文信息处理技术的基础，先进的计算机 自然语 9．不同的语义环境中的同形异构现象 ，根据具体的语言环境 言处理技术要进人中文信息领域，首先要解决的就是分词问题 ， 的语义，按本规则进行灵活的切分。如：“muxqielotyijjyyi!”(木且 计算机彝文信息处理同样面临这个问题。 的手很痒)、“muxqielotyizzipnditniu0。”(木且戴了双手套)等。 在彝文信息技术领域，计算机在执行彝文文本或语句的分词 三、分词规则在特殊词类上的具体说明 程序命令时，都要遵循一定的规则，即是彝文分词规则。彝文分 1．专用名词 词规则的制定为彝文信息处理技术向智能化阶段迈进提供了可 (1)不能单独存在且必须保持原有意义的地名，不予切分。 能。 如：“athxopnoyy”(安宁河)、“ndapssypbbo”(泸山)等。 一 、 基本概念解释 (2)有关时间的名词或名词词组的分词规则 词 ：能独立运用的最小的语言单位。 1一年中的十二个月以及每周当中的七天，一律为分词单 词组 ：由两个或两个以上的词，按一定的语法规则组成、表达 位。如：“lyhlep”(四月)、“cixzyhlep”(十一月)、“muhlep”(马月)、 “ 一 定意义的语言单位。 netat”(周 日)、“netatsuo”(周三)等。 彝文分词：基于彝文信息处理的需要，按照一定的方法，对彝 2 “年 、 日、时、分 、秒 ”分别为分词单位 。如 ： 文按分词单位进行切分的过程。 “2008kut12hlep29nyip22ma20fi15mi”中的 “kut”、“hlep”、“nyip”、 彝文分词单位 ：用于彝文信息处理并具有明确的语义或者语 “ ina”、 …fi’、“mi”为分词单位。 法功能的基本的单位。 3“miep(前)”、“liexmiep(之前)”、“wa(后)”、s“hoxmo”、 “ 彝文分词技术 ：基于彝文信息处理的需要，按照一定的方法， nyiethxa”等直接与时间名词或量词组合时，切分为独立的分词 对彝文按分词单位进行切分的技术。 单位 。如 ：“miepddiepkut”(前一年 )、w“axddiepkut”(第二年)、 二、彝文分词规则概述