数据库在词频统计中应用.docVIP

数据库在词频统计中应用 　　摘 要：由于语言信息具有大数据量、随机性等特征，在语言学研究中常引进统计学方法来定量分析，以确定语言现象的基本特征，通过揭示数量关系来帮助判定语言系统之间的关系。本文选用现代维吾尔语中常用的发生语音弱化的词汇，建立一个语料库（弱化规则库），利用传统语言学，计算语言学和统计学相结合的方法对语料进行统计分析，实现了维吾尔语中生活常用词的词频统计分析，考察了维吾尔语词汇中的弱化情况和词频统计。 关键词：现代维吾尔语；词频统计；语音弱化 中图分类号：TP391.1 维吾尔语是属于阿勒泰语系突厥语族语言之一，现代维吾尔文有32个字母，其中元音字母8个，辅音字母24个，是粘着性语言。每个字母按词中出现的位置分为独立式、词前式、词中式和词尾式等多种字体形式。维吾尔文字母大都有各自的基本笔画和结构符号，用来表示语音和字形。国际上一些语言在自动分词方面的成就和相关理论非常值得我们的参考与借鉴。例如，英语在书写过程中，词与词之间用空格来分开，于是空格就可作为自动分词中的界限，而维吾尔语是以词为单位自右至左连体书写，自然折行，词之间也以空格来区分，这与英语相类似。维吾尔语中词可由单个或多个字母组成，且字母在书写时必须按照文字书写规则以词为单位联体书写，标点符号的方向为从右向左，与汉，英文的方向相反。词与词之间用空格分开，在本文的研究中是以空格分开的词为单位