深度学习与TensorFlow实践神经网络学习.pptxVIP

第二章神经网络学习DeepLearningTensorFlow

1.神经网络诞生的背景2

3鸟飞派

4

计算机与大脑的对比18个月

7沃尔特·皮茨（WalterPitts，1923-1969）沃伦·麦克洛克（WarrenMcCulloch,1898~1969）M-P模型伯乐：卡尔纳普（Carnap）

8《神经活动中思想内在性的逻辑演算》中的逻辑门（刊登于1943年）

9

10生物计算机——计算机也许的未来

2.神经网络诞生的定义11

12“人工神经网络是一种由具有自适应性的简朴单元构成的广泛并行互联的网络，它的组织构造可以模拟生物神经系统对真实世界所做出的交互反应。”图沃·卡莱维·科霍宁（TeuvoKaleviKohonen）是芬兰著名的学者和研究人员。

Neuronsvs.Units(1)-EachelementofNNisanodecalledunit.-Unitsareconnectedbylinks.-Eachlinkhasanumericweight.

Neuronsvsunits(2)

3.神经网络的原子单元——感知机15

16罗森布拉特（右）和合作伙伴感知机（perceptron）

17

18

神经网络中的两种运算-Thereare2typesofcomponents:LinearandNon-linear.-Linear:Inputfunction（线性求和） -calculateweightedsumofallinputs.-Non-linear:Activationfunction（非线性激活） -transformsumintoactivationlevel.

TrainingaperceptronOutputInput1Input2W1W2+Calculatethedifferencebetweenthelabel(truth)andtheoutput.Thisistheloss.Adjusttheweights(behaviour)sothattheoutputequalsthelabel.Youareminimisingtheloss.Label-Loss

TrainingaperceptronOutputInput1Input2W1W2+Theweightsrepresent“trust”foreachinput.Anegativeweightmeanstotaketheoppositeoftheinput.ThelossisusedtoupdatetheweightsW1andW2.Howdoyouchangetheweightstominimisetheloss?Label-Loss0.80.40.7-0.30.56+(-0.12)=0.441.00.56

4.感知机的学习规则22

23

PerceptronlearningruleTeacherspecifiesthedesiredoutputforagiveninputNetworkcalculateswhatitthinkstheoutputshouldbeNetworkchangesitsweightsinproportiontotheerrorbetweenthedesiredcalculatedresults?wi,j=?*[teacheri-outputi]*inputjwhere:?isthelearningrate;teacheri-outputiistheerrorterm;andinputjistheinputactivationwi,j=wi,j+?wi,jDeltarule

25

神经元节点的偏置Anode’soutputisaweightedfunctionofitsinputsWhatisabias?Howcanwelearnthebiasvalue?Answer:treatthemlikejustanotherweight可视作另一种权值

Trainingbiases(?)Anode’soutput:1ifw1x1+w2x2+…+wnxn=?0otherwiseRewritew1x1+w2x2+…+wnxn-?=