大数据 极限学习机（简介）.pdf

Deep learning and ELM 大头雨山 图灵测试| 隔墙对话，你将不知道与你谈话的， 是人还是电脑 IBM 沃森 | 智力问答栏目 《危险边缘》冠军 Google Brain | 10亿节点DNN ，150亿 Brain 同声传译| 语音识别、英中机器翻译，中文语音 合成 Baidu IDL | 百度深度学习研究院 商品图像检索 | /app 词云小象 | 大数据离我们有多近？搜索引擎和商 品推荐系统 诺贝尔奖 | 分级的视觉系统，抽象层面越高，存 在的可能猜测就越少，就越利于分类 深度学习 |多层次学习；原始数据不同抽象层度 的表示 ，提高分类和预测的准确性 Artificial Neural Network 1 2 di desired output E (d −y ) BP i i 2 y i NN output 1 T 2 E [d −f (W X )] i i 2 ∂E T −(d −y )f (W X )x j=1,2,…,n ∂w i i i j ij ∂E ∆W −η i ∂w ij BP • slow gradient-based learning algorithms • all the parameters of the networks are tuned iteratively • local minima, improper learning rate and overfitting • only work for differentiable activation functions ELM For Training Set: (xj , yj ), j 1,2,3N 1 activation functions: g x sigmoid x ( ) ( ) −x 1+e ELM Model is as follows L L ∑βg (x ) ∑βg (w =•x +b ) y , j 1, 2,3, N i i j i i i j i j i 1