人工智能深度学习之父Hinton深度置信网络北大最新演讲.pdfVIP

人工智能深度学习之父Hinton深度置信网络北大最新演讲

这是2019年5月14日Hinton在北大做的远程讲座

Abstract

In2006,therewasaresurgenceofinterestindeepneural

networks.Thiswastriggeredbythediscoverythattherewasa

simpleandeffectivewaytopre-traindeepnetworksas

generativemodelsofunlabeleddata.Thepre-trainednetworks

couldthenbefine-tuneddiscriminativelytogiveexcellent

performanceonlabeleddata.Inthislecture,Iwilldescribethe

pre-trainingprocedureusedforDeepBeliefNetsandshowhow

itevolvedfromanearliertrainingprocedureforBoltzmann

machinesthatwastheoreticallyelegantbuttooinefficienttobe

practical.Iwillalsoshowhowthepre-trainingprocedure

overcameamajorpracticalproblemintrainingdensely

connectedbeliefnets.

2006年，人们对深部神经网络的兴趣重新抬头。这是由于发现有

一种简单而有效的方法将深层网络预训练为未标记数据的生成模型而

引发的。然后，可以对经过预先培训的网络进行有区别的微调，以在

标记的数据上提供出色的性能。在这堂课中，我将描述用于深度信念

网的预培训程序，并展示它是如何从早期的Boltzmann机器培训程序

演变而来的，Boltzmann机器在理论上很优雅，但效率太低，不实用。

我还将展示训练前的程序如何克服训练紧密相连的信念网中的一个重

大实际问题。

Biography

GeoffreyHintonreceivedhisPhDinArtificialIntelligence

fromEdinburghin1978.Afterfiveyearsasafacultymemberat

Carnegie-MellonhebecameafellowoftheCanadianInstitutefor

AdvancedResearchandmovedtotheDepartmentofComputer

ScienceattheUniversityofTorontowhereheisnowanEmeritus

DistinguishedProfessor.HeisalsoaVicePresident

EngineeringFellowatGoogleandChiefScientificAdviserofthe

VectorInstitute.

GeoffreyHintonwasoneoftheresearcherswhointroduced

thebackpropagationalgorithmandthefirsttouse

backpropagationforlearningwordembeddings.Hisother

contributionstoneuralnetworkresearchincludeBoltzmann

machines,distributedrepresentations,time-delayneuralnets,

mixturesofexperts,variationallearninganddeeplearning.H