机器学习课件5. 神经网络.pptVIP

*补充知识点：人工智能学派1.符号主义

认为人工智能源于数理逻辑。数理逻辑从19世纪末起就获迅速发展；到20世纪30年代开始用于描述智能行为。计算机出现后，又在计算机上实现了逻辑演绎系统。正是这些符号主义者，早在1956年首先采用“人工智能”这个术语。后来又发展了启发式算法→专家系统→知识工程理论与技术，并在80年代取得很大发展。符号主义曾长期一枝独秀，为人工智能的发展作出重要贡献，尤其是专家系统的成功开发与应用，为人工智能走向工程应用和实现理论联系实际具有特别重要意义。在人工智能的其它学派出现之后，符号主义仍然是人工智能的主流派。*补充知识点：人工智能学派2.联结主义

认为人工智能源于仿生学，特别是人脑模型的研究。60-70年代，联结主义，尤其是对以感知机(perceptron)为代表的脑模型的研究曾出现过热潮。Hopfield教授在1982年和1984年发表两篇重要论文，提出用硬件模拟神经网络时，联结主义又重新抬头。1986年鲁梅尔哈特(Rumelhart)等人提出多层网络中的反向传播(BP)算法。此后，联结主义势头大振，从模型到算法，从理论分析到工程实现，为神经网络计算机走向市场打下基础。3.行为主义

认为人工智能源于控制论。控制论思想早在40-50年代就成为时代思潮的重要部分，影响了早期的人工智能工作者。到60-70年代，控制论系统的研究取得一定进展，播下智能控制和智能机器人的种子，并在80年代诞生了智能控制和智能机器人系统。*PerceptronConvergence

andCyclingTheoremsPerceptronconvergencetheorem:Ifthedataislinearlyseparableandthereforeasetofweightsexistthatareconsistentwiththedata,thenthePerceptronalgorithmwilleventuallyconvergetoaconsistentsetofweights.Perceptroncyclingtheorem:Ifthedataisnotlinearlyseparable,thePerceptronalgorithmwilleventuallyrepeatasetofweightsandthresholdattheendofsomeepochandthereforeenteraninfiniteloop.Bycheckingforrepeatedweights+threshold,onecanguaranteeterminationwitheitherapositiveornegativeresult.*Multi-LayerNetworksMulti-layernetworkscanrepresentarbitraryfunctions,butaneffectivelearningalgorithmforsuchnetworkswasthoughttobedifficult.Atypicalmulti-layernetworkconsistsofaninput,hiddenandoutputlayer,eachfullyconnectedtothenext,withactivationfeedingforward.Theweightsdeterminethefunctioncomputed.Givenanarbitrarynumberofhiddenunits,anybooleanfunctioncanbecomputedwithasinglehiddenlayer.outputhiddeninputactivation**多层前馈神经网络输出层输入层隐藏层OutputvectorInputvector:Xwij**多层前馈神经网络网络的输入对应于每个训练元组的测量属性输入同时传给称作输入层的单元加权后同时传递给隐藏层隐藏层的数目是任意的,通常只有一个最后一个隐藏层的输出权重后作为输入传递给称为输出层，此处给出网络的预测前馈feed-forward:权重都不反馈到输入单元或前一层的输出单元从统计学观点,网络进行一个非线性回归；给定足够的隐藏单元和训练数据,可以逼近任何函数*