后向传播和可解释性.docVIP

后向传播和可解释性 如何理解后向传播神经网络的学习结果？神经网络的主要缺点是其知识的表示。用加权链连接单元的网络表示的知识很难被人理解。这激发了提取隐藏在训练的神经网络中的知识，并象征地解释这些知识的研究。方法包括由网络提取规则和灵敏度分析。 业已提出了各种规则提取算法。通常，这些方法对训练给定神经网络所用的过程、网络的拓扑结构和输入值的离散化加以限制。 全连接的网络很难处理。然而，由神经网络提取规则的第一步通常是网络剪枝。该步通过剪去对训练网络影响最小的加权链简化网络结构。例如，如果删除一个加权链不导致网络的分类精度下降，则应当删除该加权链。 一旦训练网络已被剪枝，一些方法将进行链、单元或活跃值的聚类。例如，在一种方法中，使用聚类发现给定训练的两层神经网络中每个隐藏单元的共同活跃值的集合。分析每个隐藏单元的这些活跃值。导出涉及这些活跃值与对应输出单元值组合的规则。最后，两个规则的集合可以结合在一起，形成IF-THEN规则。其他算法可能导出其他形式的规则，包括M-of-N规则（其中，为应用规则的后件，规则前件中给定N个条件中的M个条件必须为真），具有M-of-N测试的判定树、模糊规则和有穷自动机。 灵敏度分析（sensitivity analysis）用于评估一个给定的输入变量对网络输出的影响。改变该变量的输入，而其他输入变量为某固定值。其间，监测网络输出的改变。由这种形式的分析得