模式分类神经计算方法研究.pdf

中文摘要 摘 要 分类是所有智能系统面对纷繁复杂的大量数据时，从中提取有意义信息所 采取的第一个关键的处理步骤。如何通过对数据进行分析，将隐含在大量样本 中的类间差异的规律归纳出来，并综合成适当分类的过程就是模式分类所要完 成的工作。由于数据的复杂多样，面向的任务不同，很难找到一种通用的方法 来解决模式分类问题，采用神经计算的方法处理模式分类问题是对传统统计模 式分类方法的重要且有益的丰富和发展。 神经计算的方法由于其具有学习能力、可以实现自组织，非线性映射等特 点，丰富了传统模式分类的模型和算法，开辟了模式识别发展的新途径。研究 模式分类的神经计算方法，无论对神经计算理论的发展，还是对模式分类技术 的实际应用，都具有重要的意义。 本论文针对不同的模式分类问题，根据其具体处理的数据特点和实现目标 的不同，采用神经计算的理论和方法对其进行研究，主要创新工作有： 1．提出了一种基于信息论原则的自组织聚类算法GG．1CAMM。使用广义 高斯分布函数来描述源向量的分布情况，分布函数的参数可以自适应的调整， 从而可以更精确的刻画源的分布，使模型对数据的描述具有较好的自适应能力。 利用基于信息理论的自组织原则进行参数估计并实现聚类。算法既能够反映数 据的高阶统计特征，又具有一定的灵活性。实验结果验证了算法的可行性和有 效性。 2．提出了基于判别熵的期望最大化聚类算法EM．MJE。以判别熵作为各个 类别间距离来衡量EM算法得到的参数值聚类效果的好坏；在迭代过程中增加 随机扰动机制，对参数提供一个随机的扰动量，减小算法陷入局部极小的可能 性。实验结果表明该算法更易得到有效的聚类结果。 3．提出了随机多层前馈网的退火期望最大化分类算法A．EM并给出了算法 收敛性的数学证明。利用退火思想，将神经网络类比为一个热力学系统来考察 它的状态，引入退火温度参数，提出了新的条件概率密度表示方法，降低初始 参数值对最终结果的影响。该算法有利于使训练结果收敛到全局极小，从而提 北京交通大学博士论文 高分类识别率。实验验证了算法的正确性和有效性。 4．提出了前馈神经网络分类器选择性集成方法csⅫ姬。个体网络为经EM 算法训练生成的多层前馈网络并以概率向量作为输出，以个体网络输出与标准 输出的差向量之间的相关系数作为各个网络之间差异性的度量标准，按照这个 标准选择组成集成的神经网络个体，提高了网络个体之间的差异性。分析和实 验表明该方法可以提高网络的泛化性能。 关键词：神经计算，模式分类，独立分量分析，期望最大化，神经网络集成 Il Absl豫ct Abstract isthefirstessen“alfor Classi6cation whenitdeals step anyintelIigencesystem a dealof with which great oVerwhelmingcomplica地data，矗om meaningful be the infbmlationmust the hiddenruleorstructt玎e exn+acted．Analyzingdata，螽nding the thedataintochssare也emaintasksof between classes，grouping pattem elassi螽cation．IⅪelo div料si蠡od is lk∞mpliea艳da攮勰do葫oc毛主ves，itvefy击燕托lt finda methodtosolVeme to universal class洒cation pattem pmblem．Howevob 堇nelhod e跹 net疆al 如r elass主蠡c蠢ionbean eo翔搿韭atio矗 pa撞ern i搬po娃a|】t oftraditionalstatisticalclassi矗cation development pattem problem， Ne黼al me如ode嘶ches也e modelsand oflhe computation al鬟oritms 缸锰d城onal sinceithas meritssuchas pat童e黼classi最cationmaIly leamingpower， a11ds0On．Neu糟l methodalsohas self-o培anization，nonlinearmapping cOmputation beeomoanew class 曩e8墩 n．1tis d王rectio珏孙r氆e鼬 tem neural ofthe t11e method class讯cationnot forthe computatio