基于编辑距离无序词表对齐和定位.docVIP

基于编辑距离无序词表对齐和定位 　　摘要：语言调查采集到的数据存在相当程度的差异，需要进行二次加工。本文基于编辑距离算法实现从语言和方言词汇大数据中的词汇相似匹配及数据的对齐和定位。通过对达让语数据进行的三次实验发现，在做距离计算时，以词算而不是以词加括号内注释的整体去算的方式在保证抽取词汇召回率的基础上准确率会显著提升。实验结果表明，基于编辑距离的数据抽取方法是可行的，具有较好的检索效果。 　　关键词：编辑距离；相似度 　　中图分类号：TP391 文献标识码：A 　　Abstract： The data of languages collected from field research have considerable differences，they need for secondary process.This paper implements the match and extraction of vocabulary similarity from the big data of language and dialect vocabulary based on levenshtein distance algorithm.Through the three experiments made by using the data of Darang， the research finds that the way of counting words rather than words and comments in brackets as a whole increases the precision rate dramatically on the basis of ensuring extraction vocabulary recall rate when the levenshtein distances are computed. The experimental results show that it is feasible to extract data based on levenshtein distance， the aboved method has better retrieval effect. 　　Keywords： Levenshtein Distance；similarity 　　引言 　　中国语言研究中，经历了60余年大规模数据的采集，形成约数千种语言和方言词汇大数据。不过这些数据因调查理念、调查目的、调查方式、调查领域、调查词表等不同而存在不同程度的差异，需要进行二次加工处理，这批宝贵资源对语言工程和语言文化建设具有重要价值。本文目标提出对采集的语言数据二次加工，建设统一格式词表，便于后续的语言科学研究。也就是说语言调查采集到的数据是无序的，且数量不等，本文拟建设统一格式词表，该词表包括1 329个词汇，并且这些词汇是按照顺序排列的，然后又从数千种语言词汇大数据中，每种语言都抽取意义相同1 329个词汇，如果没有找到，则以空表示，这就涉及到数据的定位，由于这1 329个词汇是按照顺序排列的，所以还涉及到数据的对齐，最后将每种语言按顺序排好的1 329个词汇保存为独立的Excel文件，供语言分析研究使用。本文的难点在于如何从数千种语言词汇数据中尽可能准确地找到这1 329个词汇。 　　1 中国语言和方言数据现状 　　半个多世纪以来，我国开展过数次规模不等的语言和方言调查。1956年，根据国务院指示开展了汉语和民族语言普查，共普查了1 849个县市的汉语方言，并组成7个民族调查队，调查了主要民族地区的语言。这次语言普查，对于推广普通话和汉语规范化，对于少数民族文字的改革与创制，对于民族身份的认定等都起了重要作用。1999年，教育部、国家语委等11部（委）联合开展了中国语言文字使用情况调查，调查采用入户问卷的调查方式，涉及全国1 063个县（市、区），直接被调查对象47万多人。这次调查获得了我国语言文字使用的一些基本数据，为当今的语言决策提供了重要支撑。除了这2次大的语言调查之外，我国学者还持续进行了汉语方言、民族语言、海外华语的调查研究，取得了许多重要成果。 　　在推广普通话的同时，社会的语言资源保护意识逐渐加强，方言文化保护受到社会各界的关注。国家语委积极推进中国语言资源有声数据库建设，江苏库数据调查工作完成并通过国家验收，成为全国首个建成并开通的省级语言资源库，上海、北京、辽宁、广西等省区市有声数据库建设工作取得成效，山东、河北、福建等省有声数据库建设工作启动。“中华经典资源库”启动了首期建设工作[1]。 　　但是语言生活异常丰富复杂且与时而变，半个多世纪