第03讲智能决策理论与方法2(免费阅读).pptVIP

决策理论与方法(4) ——智能决策理论与方法(2) 合肥工业大学管理学院 * 智能决策理论与方法 1、智能决策理论的形成背景 2、知识发现 3、粗糙集理论 4、机器学习 机器学习 机器学习是从模拟人类的学习行为出发，研究客观世界和获取各种知识与技能的一些基本方法（如归纳、泛化、特化、类比等），并借助于计算机科学与技术原理建立各种学习模型，从根本上提高计算机智能和学习能力。研究内容是根据生理学、认知科学对人类学习机理的了解，建立人类学习的计算模型或认知模型；发展各种学习理论和学习方法，研究通用的学习算法并进行理论上的分析；建立面向任务且具有特定应用的学习系统。 机器学习—归纳学习：泛化 归纳学习是指从给定的关于某个概念的一系列已知的正例和反例中归纳出一个通用的概念描述。 泛化(Generalization)是用来扩展一假设的语义信息，使其能够包含更多的正例。泛化所得到的结论并不总是正确的。 常用泛化方法： 将常量转为变量规则：对于概念F(v)，如果v的某些取值a,b,…使F(v)成立，则这些概念可被泛化为：对于v的所有值，F(v)均成立： 机器学习—归纳学习：泛化 消除条件规则：一个合取条件可看作是对满足此概念的可能实例集的一个约束。消除一个条件，则该概念被泛化。 添加选项：通过添加更多条件，使得有更多的实例满足概念而使该概念泛化。该规则特别有用的方式是通过扩展某个特定概念的取值范围而增加选项。 将合取转为析取规则 机器学习—归纳学习：泛化 爬升概念树规则：通过爬升概念树，低层概念被较高层概念替代。设A表示信息系统中的某个属性如Animal，a,b,…分别为对象u,v,…在属性A上的取值，若s是概念树上a,b,…的父结点，则基于概念树爬升的泛化规则表示为： Nick等人给出了一种面向属性的归纳算法。 过度泛化问题 当某个属性被爬升至过高的概念层会导致冲突的产生，这种现象称为过度泛化。克服过度泛化必须有相应的终止泛化算法的策略。 机器学习—归纳学习：泛化 机器学习—神经网络 神经网络(Artificial Neural Networks)是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应(T.Koholen)。 神经网络分为前向型、反馈型、随机型以及自组织型。我们重点介绍前向型网络及其学习算法。 机器学习—神经网络 基本神经元及感知机模型： 机器学习—神经网络 神经元函数f的选择 线性函数：f(x)=?x 带限的线性函数：?为最大输出。 阈值型函数： sigmoid函数： 机器学习—神经网络 感知机学习算法：(选取f为阈值函数，学习权值向量w) (1)初始化：将权值向量和阈值赋予随机量，t=0 (2)连接权的修正：设训练样本的输入为x1,..., xi,...,xn，期望输出为yj(=±1)，进行如下计算： 计算网络输出(=±1) ：y(t)= f(?iwij(t)xi(t)-?j(t)) 计算期望输出与实际输出的误差：e(t)=yj-y(t) 若e=0，则说明当前样本输出正确，不必更新权值，否则更新权值和阈值 wij(t+1)= wij(t)+?yjxi(t)；?j(t+1)=?j(t)+?yj t=t+1(?为学习率) (3)返回(2)，重复所有的训练样本直到所有的样本输出正确。 机器学习—神经网络 多层前向神经网络：包括一个输入层、一个输出层以及多层隐单元。 机器学习—神经网络 隐含层的接受与投射(以隐含层第j个神经元为例)： 接受：第j个神经元的值来自于前一层网络(本例是输入层)输出值的加权和，即netj=?iwjiui。 投射：将第j个神经元的值经过变换f(netj)，作为下一层网络(本例是输出层)的输入，一般f(x)=1/(1+e-x)。因此可得到yk=?jwkjf(netj)。 上述过程一直持续到所有的输出单元得到输出为止，最后一层的输出就是网络的输出。 因此，神经网络是一个黑匣子。 机器学习—神经网络 BP算法：BP算法的核心是确定W的调节规则(学习规则)，使实际的输出Y1(t)尽可能接近期望的输出Y(t)。 误差函数：对于每种输入模式特征矢量(x1,x2,…,xI),都有对应的输出矢量(y1,y2,…,yK)作为训练网络的输出参考基准。如果用符号Xp表示第p个输入模式特征矢量，用符号Yp表示对应的第p个输出基准矢量。在训练时，同时按输入输出矢量对(Xp,Yp)给出训练集(p=1,…,P)。对于每个Xp，按照神经元的输入输出公式，一个个一层层地求出网络的实际输出Y1p，则误差函数定义为： 机器学习—神经网络 权重调节策略：学习的目标是使E最小