ML-4机器学习讲解.pptVIP

4. 人工神经网学习 Artificial Neural Networks 目 录 4.1 人工神经网 4.2 人工神经网学习 4.3 感知器 4.4 多层网和反向传播算法 4.5 人脸识别 4.6 高级研究课题 4.1 人工神经网 人工神经网 人工神经网是对大脑神经元的模拟。是一类计算模型。它由有向图组成： 结点：计算单元，与某个函数关联。 连线：连接两个结点，带权，表达连接强度，或前驱结点对后继结点的影响强度。 1）无环网－前馈网，一般有单层网、两层网、三层网，更多层的网少见。 2）递归网 4.1 人工神经网 单层网 4.1 人工神经网 两层网 4.2 人工神经网学习 自动驾驶器 4.2 人工神经网学习 适合神经网学习的问题特征 1）实例用“属性-值”对表示：输入向量、输出向量 2）目标函数的输出可能是离散值、实数值，或它们组成的向量。 3）训练数据包含错误 4）要求长时间的训练 5）人类是否理解学习到的目标函数不重要 4.2 人工神经网学习 神经网学习任务 给定： 1）训练样例集D={( x , t )}； 2）固定的网络结构（一般情况）: 结点数目固定、连接方式固定 3）网络结点的类型。 学习：所有结点连接的权值。 4.3 感知器(perceptron)单元 4.3.1 感知器及其表达能力 4.3.2 感知器训练法则 4.3.3 梯度下降和delta法则 4.3.1 感知器及其表达能力 感知器 感知器是一种类型的神经元： 输入：n个元素（属性）的实数值向量 输出：一个输出?{1，-1} 处理：感知器的计算函数为 其中，wi(i=1,…,n)－实数常量，决定输入对输出的贡献。 -w0－阈值，为了使输出＝1，w1x1+…+wnxn所必须超过的阈值。 4.3.1 感知器及其表达能力 图示感知器 可将感知器看着由两个部件组成：求和、计算阈值。 其中，设x0＝1，w0是阈值。 4.3.1 感知器及其表达能力 感知器学习的假设空间 感知器的向量形式： 感知器学习的假设空间： H={ w | w ? R n+1} 4.3.1 感知器及其表达能力 感知器的可计算函数 单个感知器能表达的布尔函数： AND、OR、NOT、NAND、NOR 不能表达的布尔函数： XOR 表达AND（m-of-n函数，m=n=2） w0=-0.8, w1=w2=0.5 表达OR（m-of-n函数，m=1） w0=-0.3, w1=w2=0.5 表达NOT 改变输入值的符号。输入权值为-1即可。 4.3.1 感知器及其表达能力 感知器－N+1维空间的决策面 4.3.1 感知器及其表达能力 感知器多层网络的可计算函数 所有布尔函数 方法 先将布尔表达式化为析取范式，然后用网络表示析取范式。 4.3.1 感知器及其表达能力 感知器的学习任务 学习一个感知器单元。 给定： 训练样例集D：{((x1,…,xn), c(x1,…,xn))} 输出： 权值：w0,w1,…,wn 可能的学习方法 1）Perceptron rule（感知器单元） 2）delta rule（线性单元） 4.3.2 感知器训练法则 1. 感知器训练法则( perceptron rule) w权的初始值： 随机值 感知器训练法则： 其中，t－感知器在训练样例上的预期输出 0－感知器的实际输出 ?－学习速率，通常为一个小正常数，如0.1 4.3.2 感知器训练法则 感知器训练法则的收敛性 收敛前提：实例空间线性可分 分析： 1）正确分类 (t - o) =0，?wi = 0 wi保持不变 2）t=1, o=-1 t-o=2 , ?0, 则使? wixi增大，|w0|减小，xi0时。 3）t=-1, o=1 t-o=-2, ?0, 则使?wixi减小，|w0|增大，xi0时。 4.3.3 梯度下降和delta法则 在样本空间不是线性可分的情况下，可以收敛于目标概念的最佳近似。 用梯度下降方法搜索假设空间（权向量），找到最佳拟合样例的假设。 对于包含连续值参数的假设空间，梯度下降是所有遍历这样的假设空间