基于上下文的真词错误检查及校对方法.pdfVIP

第25卷第1期 中文信息学报 V01．25，No．1 2011年1月 OFCHINESEINFORMATl0N Jan．。201l JOURNAL PROCESSING 文章编号：1003—0077(2011)01—0085-06 基于上下文的真词错误检查及校对方法 陆玉清，洪宇，陆军，姚建民，朱巧明 (苏州大学江苏省计算机信息处理重点实验室，江苏苏州215006) 摘 要：英文文本中的真词错误即输入的错词是和原词相似的另一个有效词。该文主要研究了对该类错误的检 测。通过从所要检测的单词的上下文中提取句法和语叉两个方面的特征，运用文档频率和信息增益进行特征筛 选。实现了对上下文特征的有效提取。最终把判断该单词使用的正确与否看作分类问题，使用Winnow分类算法 进行训练和测试。通过5阶交叉验证，所收集的61组混淆集的平均正确率与召回率分别为96％，79．47％。 关键词：真词错误；特征筛选；混淆集；Winnow算法 中图分类号：TP391 文献标识码：A Context WordErrorDetectionandCorrection Dependent LU Yu，LU Jianmin，ZHU Yuqing，H()NGJun，YA0 Qiaoming of Information Soochow (Provincial Processing University， KeyLaboratoryComputer Technology 215006，China) Suzhou，Jiangsu Abstract：Contextworderrorsin textsareerrorsinwhichoneis substitutedanoth— dependent English incorrectly by erwordwithout discusseshowtodetectthis oferrors．We toex— mistake．This prospose spelling papermainly type that theword tractthecontextfestersamethod extractfeaturesof andsemanticsfrom context，and by firstly syntax thenselectthefesturestheDocument andtheInformationGaintodofeatureselection．．Further，we by Frequency modelthe taskasaclassificationtheWinnow five-acrossvalidation61 detecting using algorithm．With amonggroups ofconfusionsets。the andrecallare av