Donald F.Specht.doc

Donald F.Specht Probabilistic Neural Networks Neural Networks,Vol.3,pp.109-118,1990 概 率 神 经 网 络 摘要：以指数函数替代神经网络中常用的S形激活函数，进而构造出能够计算非线性判别边界的概率神经网络（PNN），该判定边界接近于贝叶斯最佳判定面。还讨论了拥有类似性质的其他激活函数。所提出的这种4层神经网络能够把任何输入模式映射到多个类别。如果能取得新数据的话，可以使用新数据实时地修改判定边界，并可以使用完全并行运行的人工“神经元”付诸实现。还为估计类别的出现概率和可靠性，以及做判别作好准备。对于反向传播增加的适应时间占总计算时间的重大部分的问题，这种方法显示出非常快速的优点。PNN范式比反向传播快200，000倍。 关键词：神经网格，概率密度函数，并行处理机，“神经元”，模式识别，Parzen窗口，贝叶斯策略，相联存储器 1. 动机 神经网络常用来依据向实例学习进行模式分类。不同的神经网格范式（paradigm）使用不同的学习规则，但都以某种方式，根据一组训练样本确定模式的统计量，然后根据这些统计量进行新模式分类。 通用方法如反向传播，使用探试法获得基础的类别统计量。探试法通常包含对系统参数的许多小的改进，逐渐提高系统的性能。除了训练需要长的计算时间外，还表明，反向传播增加的适应近似法对错误的最小值很敏感。为了改进这种方法，找到了基于己确立的统计原理的分类方法。 可以表明，尽管最终得到的网络在结构上类似于反向传播,且其主要区别在于以统计方法推导的激活函数替代S形激活函数，但这个网络具有的特点是：在某些易满足的条件下，以PNN实现的判别边界渐进地逼近贝叶斯最佳判定面。 为了了解PNN范式的基础，通常从贝叶斯判定策略以及概率密度函数的非参数估计的讨论开始。之后可以表明，这种统计方法如何映射到前馈神经网络结构，网络结构是以许多简单处理器（神经元）代表的，所有处理器都是并行运行。 2. 模式分类的贝叶斯判定策略 用于模式分类的判定规则或策略的公认标准是：在某种意义上，使“预期风险”最小。这样的策略称之“贝叶斯策略”，并适用于包含许多类别的问题。 现在考察两类的情况，其中，已知类别状态为或。如果想要根据p维向量XT=[X1…Xi…Xp]描述的一组测量结果，判定=或=，贝叶斯判定规则变成： 如果 如果 （1） 式中，和分别为类别A和B的概率密度函数；为=时判定的损失函数；为=时判定的损失函数（取正确判定的损失等于0）；为模式来自类别A出现的先验概率；和=1－为=的先验概率。 于是，贝叶斯判定规则的区域与贝叶斯判定规则的区域间的界限可用下式求得 （2） 式中 （3） 一般地，由式（2）确定的两类判定面可以是任意复杂的, 因为对密度没有约束，只是所有概率密度函数（PDF）都必须满足的那些条件，即它们处处为非负，是可积的，在全空间的积分等于1。同样的判定规则可适用于多类问题。 使用式（2）的关键是根据训练模式估计PDF的能力。通常，先验概率为己知，或者可以准确地加以估计，损失函数需要主观估计。然而，如果将要划分类别的模式的概率密度未知，并且给出的是一组训练模式（训练样本），那么，提供未知的基础概率密度的唯一线索是这些样本。 在Parzen（1962）的经典论文中，他指出，只要基础的母体密度是连续的，类别的PDF估计器可以渐进地逼近基础的母体密度。 3. 密度估计的一致性 判别边界的准确度决定于所估计基础PDF的准确度。Parzen（1962）论述如何构造的一族估值， （4） 其在连续PDF的所有点X上都是一致的。令XA1，…XAi，…XAn为恒等分布的独立随机变量，因为随机变量X的分布函数=P[xX] 是绝对连续的。关于权重函数的Parzen条件是 （5） 其中，sup为上确界， （6） （7） 和