玩命的数据分析学习日志（三）-神经网络探讨1.pdf

玩命的数据分析学习 日志 （三 ） - 神经网络探讨1 devilogic 点融网沙龙 - 神经网络权值直接 定法的探讨 这是一个人人都在谈大数据的时代 ，貌似你不谈就显的格外 Low... 神经网络ABC 单个神经元 前向反馈网 真实的 目标与网络的作用 真实的 目标是一个未知的函数 ，而这个函数多数情况下也是没有正解的。在最一般的情况下 ，神经网络是要逼近一 个最小二乘解。 那就是说用模型的最小二乘解来逼近 目标 的最小二乘解。 切的解与逼近都是特殊情况。 三体 这是一个控制维度的游戏 ，在神秘的世界中找寻到那个维度 1. 输入 - 特征 - 输入变量 - 观察到的特征 2. 神经元 - 权重 - 方程的个数 - 特征对输出的贡献 3. 输出 - 解值 - 解方程组方程的个数 - 预测值 4. 隐藏层数 - 尝试不同线性空间 - 方程组的个数 - 尝试找寻那个神秘的变量或者剔除提纯特征集 一般而言 方程的数量 特征 变量的数量 分类 拟合的值 是一个超定方程组 ，只能求最小二乘解。 让我们先来探讨一下决策树 一个熵计算的过程 。按照熵的最小化程度来进行分类。 让我们替换一下上面的公式为 ： 这是按照 来划分样本空间导致结果为 的后验概率 ，可以把这棵树转换成一个方程组。目前我还没找到相关论文 ，不过 应该是可以的(这个问题让不做CTO的人来研究吧)。那么一般这就是超定方程组(方程数量多于变量的个数)。其实就是一 个无隐层的神经网络 （输入 - 输出 ）。 而一个决策树是否可以训练成功完全依赖一个样本集的特征。那么最重要的一点就是这个特征集合是否可以覆盖假设空 间。那么不满足这个条件 ，那么训练的将失败。如果特征缺失掉的化 ，如何找寻到这个特征就很重要了。这就不是决策树 可以解决的问题了。 而这个特征集合尺寸其实就是模型世界的维度。那么这个模型是否能逼近真实 目标呢 ？ 想想支持向量机(SVM)算法 ，它的做法是升维 ，形成高维打低维的情况。 。其中这个 是通过 通过某个函数进行近似。原理是在这冥冥之中有一个神秘的变量与现实观察到特征存在某种神秘的联系。 降维打击算式对特征的提纯吧 ～～～ 再回来想想神经网络这种东西吧 ，本来已经证明了三层 BP网络具有任意的非线性逼近能力了。为什么还要那么多层呢 ？ 而层数的 定以及激励函数的为什么又那么不 定呢 ？ 控制层数与选择激励函数可以看成是对找寻神秘特征与削减不必要特征的一次次尝试。 学习的过程 这是一个在 轮迭代过程中调解权值矩阵的过程 ，通过这个过程最终来逼近到 目标函数 。 一个找解的过程 - 梯度下降法(gradient descent) 1.导数为正则说明比正解大 2.导数为负则说明比正解小 根据以上我们需要按照导数的反方向来调节。 让我们来看下根据 度下降法的完整学习过程。这里首先说明一些条件。 单元 的第 个输入 与单元 的第 个输入相关联的权值 单元 的输入的加权和 单元 计算出的输出 单元 的 目标输出 sigmoid函数 outputs 网络最后一层的单元的集合 Downstream{j } 单元的直接输入中包含单元 的输出的单元的集合 这里的 函数可以替换成任何传输函数 误差 通过公式来计算出网络最终的输出与 目标的误差 其实也可以其他误差函数 ，但是均方差是可微函数。 我们对这个误差进行链式求导来得到梯度。 那么我们主要是对 来进行计算 ，其中的 可以替换成任意要修订层的情况。 情况1:输出单元的权值训练法则 首先考虑公式的第一项 除了当 时 ，所有输出单元 的导数 为 。所以我们不必对多个输出单元求和 ，只需要设 。 现在考虑第二项 ，既然 ，如果选用sig mod函数的化其导数为