利用上下文信息的后处理纠错系统.pdfVIP

利用上下文信息的后处理纠错系统 许舟军方应谦燕继坤潘志松 郑州电子技术学院二系450004 chenzhe@DubIic2zz．ha．cn 摘要为了提高汉字文本识别率，本文提出了一种基于对字和词性进行多阶连接频度统计的后 处理方法。该方法采用MarKov模型，把具有确定边界的一个有意义文字序列作为处理单元，采 用动态寻找最佳路径算法，取得了较好的实验效果。 关键词后处理，MarKov模型 i Oorrecti Usi Contextua Postprocessng ngSystemng nformation XU FANG YAN PAN ZHoujunYingqianJikun ZHishong 2nd ofE1ectronic Department，InstituteTechnology，Zhengzhou，450004 chenzhe6publit2．zz．ha．cn Inorderto Chinese 岫strmot improve textrecognitionrate．inthispaperwe a isbasedonthemultiunit一1 presentpost—processingmethod，which inkingfrequency statisticsofcharactersand features．Themethodhasused words’morphological MarKovmodel．Aboundedsequenceof Chinesecharactersis as an processed unit，employingdynamicbest—routesearchingstratgy，andtheresultof the i s correctingexperimentgood． model Kmy=ordspostprocessing，MarKov 1汉字信息的简单讨论 近年来，汉字OCR识别研究取得了很大成就，许多商品化的系统已成功地推入了市 场，并获得了巨大的经济效益和社会效益。然而OCR的研究者们已看到单纯的单字 (IsolatedCharacter)识别的方法对于整个文本识别是不够的，而合理地利用上下文知 识来提高汉字文本识别率是一个很重要、很有意义的研究方向。集成自然语言上下文知 识和其他知识在国外文本识别研究中也越来越受到重视iIJ。 从信息论的角度对汉字的信息量加以分析。语言符号的熵是语言符号不肯定性程度 的度量，它表示语言符号中所包含信息量的多少。汉字的熵(entropy)是汉字所含信息 量大小的数学度量。八十年代初，冯志伟先生曾测算出不考虑汉字之间的相互影响时包 含在一个汉字中的熵是9．65比特。他又在文献B1指出在充分考虑汉字之间的相互影响 时，包含在一个汉字中的熵一信息论中叫极限熵，它的平均值为4．0462比特。这也即是 107· 说进行单字识别仅仅利用了约一半的汉字信息。目前，在手写体汉字识别系统中，如果不 考虑其后处理过程，往往识别率只能达到80％左右。而增加了后处理过程的识别系统，最 好也只能达N90％左右。也就是说后处理过程只增加10％E右的识别率。 2校对策略简单比较 在已有的纠错方法中，基于词匹配的方法用得较多，而且从一定程度上说具有不错的 纠错率，但词纠