学习与编码改变和量子化.ppt

学习 学习就是对信息进行编码,其目的就是通过向 有限个例子（训练样本）的学习来找到隐藏在例子背后（即产生这些例子）的规律（如函数形式）。 编码 我们使用状态级（behavioristic）编码准则。如果输入激励为 ，而响应为 ，则认为系统学会了激励－响应对 。 输入输出对 表示函数 的一 个采样。函数将n维矢量X映射到p维矢量Y 学习过程 由所有的输入 得到响应 那么系统就学习了函数。 学习过程 若输入 系统就会得到响应 ，则表明系统近似或部分的学习了函数，即系统把相似的输入映射为相似的输出，由此估计出一个连续的函数。 学习与改变 当样本数据改变系统参数时，系统学习、自适应或自组织这些改变。在神经网络中表现为突触的改变，而不是神经元的改变（尽管有时神经元也学习新的状态）。 注：突触的改变就是权值的学习过程，而神经元的改变只是网络的演化 。 结论 当激励改变了记忆介质并使改变维持相当长一段时间后，系统才学会了 。这也说明了传统的解释学习是半永久的变化。如果我们通过了微积分的考试，那么可以说我们学会了微积分，并且可以持续这种“会“的状态一段时间。 举例 画家画画 除草机除草 学习与量化 学习模式与样本模式之间存在严重的不匹配。 通常系统只能学会样本模式环境中一小部分样本模式，而可能的样本数量使无穷的。 学习与量化 量化的必要性 系统的存储量是有限的，这就要求系统要通过学习学会用新的样本模式替换旧的样本模式，从而形成样本模式的内部表达或采样模式的样机。 学会了的样机定义量化模式 。 学习与量化 量子化 量子化，把样本模式空间 分成k个区域：量子化区域决策组。被学习的原型矢量在一个足够大的模式空间 中定义了个 突触点。当且仅当某个 在 中移动时，系统才进行学习。 学习与量化 矢量量子化规则 矢量量子化可以按照不同的规则进行优化。原型可以扩展以使矢量量子化均方误差最小或使某些数字性能规则最优。更一般的，量子化矢量可以估计样本模式的未知的概率分布，即，原型矢量的分布可以统计的代表样本模式的未知分布。 非监督学习 描述样本模式x在样本空间 中的连续分布的概率密度函数 未知，通过学习来更精确的估计 。 非监督学习不作 的假设，只是利用最少限度的信息 。 利用“无标志”的模式样本，“盲目”处理模式样本 ，其计算复杂度小，精确度小，但是速度快，适用于高速环境。 监督学习 监督器假设了一种样本模式分组结构或 性能 。 监督学习算法依赖于每个学习样本的分组隶属度信息，即，假设 分成： 所以算法可以检查出错误分组或计算出“错误”信息或矢量。 监督学习 计算较复杂，精确度较高，但是速度较慢。 在神经网络中的区别 监督学习利用在所有可能的突触值的联系空间中估计出的梯度下降，来估计依赖于的未知均方性能的测度梯度。监督器利用分组隶属度信息来确定数字误差信号或矢量，以引导估计出的梯度下降。 在神经网络中的区别 非监督学习类似与生物突触，利用神经信号的局部信息来改变参数，而不利用分组隶属度信息，处理未标志的原始数据。它自适应的把样本模式分成模式簇 ，突触扇入矢量估计样本模式的分组轨迹，这个过程依赖于未知概率密度函数 ，其它非监督神经系统具有模式状态空间（pss）的吸引子低谷AB,AB对应于模式分组。 在神经网络中的区别 一阶差分或一阶微分方程可以用来定义非监督学习定律。一般来说，随机微分方程定义了非监督学习定律，并且描述了突触如何处理局部信息。 局部信息 局部信息：突触可以简单获得的，经常是表示突触性质和神经信号性质的信息 。 局部化使突触可以实时、异步地学习，不需要全局的误差信息，也使非监督学习定律的函数空间缩小，即，突触只能获得局部非常有限的信息。 局部信息 局部的非监督突触把信号和信号联系起来，形成由局部化限定的共轭或相关学习定律。 学习定律中只包含神经元、突触和噪声三项。 借助于联想可以进一步缩小函数空间，它把模式联系起来。通过 把 、 联系起来，神经网络估计函数 和未知的联合概率密度函数 。 四个非监督学习定律 主要介绍了信号Hebbian学习、 微分Hebbian学习、 竞争学习、 微分竞争学习 这四种非监督学习定律。