基于规则的哈萨克语词干提取系统地研究.pdfVIP

基于规则的哈萨克语词干提取系统的研究幸 古丽拉．阿东别克达吾勒．阿布都哈依尔 新疆大学信息科学与工程学院乌鲁木齐830046 gla@xju．edu．ca dawei@xju．edu．ca 摘要本文提出了一个基于规则的哈萨克语词干提取的一种解决方法。该方法首先找到 待切分词的所有可能的词干，然后以带变形词的词典和分类的附加成分表为基础，对找到的 若干个词干进行词法分析，最后确定正确的词干。并以此方法为基础开发的哈萨克语词干提 取系统还在实验阶段，部分功能有待于改进。 关键词构形附加成分；词干提取；词法分析 ontheRule··basedKazakhWord Study GulilaAltenbekDawel Abilhayer Scienceand InformationEngineeringCollegesofXinjiangUniversity AbstractInthis amethodofkazakhwordlemmatizationrole-based paper,wepropose byusing analysis．In the this istofindall stemsofthe to stems method，first word，then analysis by possible applymorphological using thetableofaffix lastwecan thecorrectword isin andalistofword variants,at get stem．Now,thesystem need experimentalstage，some parts improvement． words affixal Key figure—buildingcomposition，stemming，morphemicanalysis 1引言 建设高质量的标注语料库是哈萨克语信息处理领域的基础性1：程。目前，在机器翻译、 信息检索、Web文本挖掘等许多领域对语料库的使用越来越多，要求也越米越高。而自动词 干提取是建立标注语料库的基础工作之一。目前，基于语料库的英语和汉语的分词技术，都 取得了很大的进展，但哈萨克语的自然语言研究还处在萌芽状态。哈萨克语自动词切分系统 中，采取何种词切分算法是语料库建设中的一项基础性课题。 1．1哈萨克语中词的结构与分类n1 哈萨克语属于阿尔泰语系突厥语族，是拼音文字，在结构上属于黏着语。词(word)是 哈萨克语中的最小的能独立运用的语言单位。哈萨克语的词与词之间有空格分隔开，不存在 ’作者简介：古丽拉(1962-)，女，硕士，教授，硕士生导师，主要研究方向为少数民族自然语言信息处理， 4 人工智能。 达吾勒(1973-)，男，硕士，讲师，主要研究方向为少数民族自然语言信息处理。 汉语中的分词问剧21。但是，哈萨克语在形态结构上属于黏着语类型，所以它是通过在词的 后面或者前面附加一定的附加成分来表示一定的语法意义的。哈萨克语文本中的词是由词根 和附加成分构成的。其中，附加成分又分为构词附加成分和构形附加成分。构词附加成分， 顾名思义是用来构造新词的。附加了构词附加成分的哈萨克语词