关键词提取技术在撒拉族文献数据库应用.docVIP

关键词提取技术在撒拉族文献数据库应用 　　摘 要： 在文献管理和研究中经常会做关键词提取的工作，通过人工的方式进行提取过程繁杂，工程量极大，因此引入一种关键词欲提取的方式，其过程主要采用以下三个步骤：先通过OCR系统对图片进行识别、排错；再通过词频技术，来提取词频及关联性最高的关键词，将其作为备选关键词；然后通过人为阅读的方式，按照一定的关键词人工提取规则进行关键词的精确提取。结果表明，该方法取得了较好的效果。 　　关键词： 关键词提取； 撒拉； 词频； 引用度 　　中图分类号： TN911?34 文献标识码： A 文章编号： 1004?373X（2013）24?0005?03 　　Application of keyword extraction technology in Salar literature database 　　ZHAO Jian?fei， DUAN Xin?wen， AN Shou?chun 　　（Physics Department， Qinghai Normal University， Xinning 810008， China） 　　Abstract： The keyword extraction work is often done in the literature management. The artificial extraction may cause a complex process， and the work burden is heavy. A method of keyword pre?extraction is introduced， which is mainly divided into three steps： the image recognition and troubleshooting are conducted first by OCR system； the word frequency technology is used to extract the word frequency and highest relevance keywords as alternative keywords； and then through man?made reading manner， the accurate extraction of keywords is achieved in accordance with a certain keyword manual extraction rule. 　　Keywords： keyword extraction； Sarah； degree of word frequency； citation rate 　　0 引 言 　　随着我国信息化建设的全面开展，OCR文字识别技术诞生20余年来，经历从实验室技术到产品的转变，目前已经进入行业应用的成熟阶段。 　　文字这方面会涉及图形识别学——光学字符识别（Optical Character Recognition，OCR），目前像汉王、紫光、微软等都在这方面有专门的研究单位。OCR的步骤和过程算是集大成于一体，它会用到各种图形学中的方法来获得最高的正确率，OCR是不确定性科学，百分之百的识别正确率似乎只会存在于理论上。文字识别一般包括提前预处理、文字特征提取、数据库比对、后期处理等几个部分。 　　首先是提取前预处理，这个过程是将扫描仪、数码相机等工具将印刷品或手写品输入到电脑后，先采取一些通用的算法将这些得到的图像特征化，譬如先进行二值化或灰价化，图像的去噪和正规化及可能需要的影像矫正，还会有图文分析、字行间处理等，这个过程做的事可能最多最杂，但所用到的算法理论和技术方面都很成熟了。不过最后的文字的行间距处理就会有一些差异，有些软件可能只会简单的将文字一个个提取出来了事，完全不管之前的印刷格式，这就是一个简单的字行间距处理的实现。复杂的可能会得到印刷品的排版信息。 　　然后是文字特征提取，这是OCR的关键部分，用何种方法提取会直接影响到最终正确率。这方面的论文和学术报告也最多，但主要方法一般有两种：一是统计特征，如文字区域内的黑白点数比，当文字区分成好几个区域时，这一个个区域黑白点数比之联合，就成了空间的一个数值向量，在比对时，基本的数学理论就可以应付了；另一类特征为结构的特征，如文字影像矢量化后，取得字的笔划端点、交点的数量及位置，或以笔划为特征，配合相应的比对方法比对，一般的手写输入软件的识别方法多为后者。 　　再就是数据库对比，不论采用上面的哪种方法进行的提取，都需要有一个对比数据库进行比对，比如常用的比对方法有松弛比对法、欧式空间比对法、