基于改进BP网络中文歧义字段分词方法研究.pdf

471 大 连 理 工 大 学 学 报 Vol. 47, No. 1 2 0 07 1 Journal of Dalian University of Technology Jan. 2 0 0 7 : 1000-8608(2007) 01-0131-05 BP * 1 1 1 2 3 张　 利 , 　张立 勇, 　张 晓淼, 　耿铁 锁, 　岳宗 阁 ( 1. 大连理工大学 电子与信息工程学院, 辽宁 大连　116024; 2. 大连理工大学 国有资产处, 辽宁 大连　116024; 3. 大连理工大学 附属医院, 辽宁 大连　116024 ) : 文本挖掘中中文歧义字 的自动分词是计算机科学面临的一个难题. 针对汉语书写 时按句连写, 词间无间隙, 歧义字 分词困难的特点, 对典型歧义中所蕴含的语法现象进行了 归纳总结, 建立了供词性编码使用的词性代码库. 以此为基础, 通过对具有特殊语法规则的 歧义字 中的字、词进行代码设定, 转化为神经网络能够接受的输入向量表示形式, 然后对样 本进行训练, 通过改进BP 神经网络的自学习来掌握这些语法规则. 训练结果表明: 算法在歧 义字 分词上达到了93. 13% 的训练精度和92. 50% 的测试精度. : 文本挖掘; 歧义字 ; 自然语言处理; 神经网络 : T P391. 1 : A 0 . , 1 [ 1] , 1. 1　BP 网络模型 BP 1 , . , ( ) . I , I , i ; J , , J , j ; . , , K , K , [ 24] k . wj i , . w kj . ( M M) [ 5] [ 6] [ 7] ( RMM) ( OM ) [ 8] . , , , . , , 图1　带有 一个隐层的BP 网络 , Fig . 1　BP etw ork with a hidde layer , . , 1. 2　神经网络分词特点 , ( 1) , : 2005-12-1