【群话题精华】五月集锦——机器学习和深度学习中一些值得.PDFVIP

本文由SIGAI 人工智能平台原创，未经允许，不得转载 【群话题精华】五月集锦—— 机器学习和深度学习中一些值得思考的问题 作者：SIGAI 2018.5.31 SIGAI 微信技术交流群已经运营3 周了，在这期间群友们对很多技术问题进行了热烈 的讨论，在这里，我们将精华的话题整理出来，做一个总结。以后在每个月我们都会有类似 的总结，敬请期待。 神经网络参数初始化 神经网络一般用梯度下降法进行训练，参数初始值的设定是一个需要考虑的问题。和 logistic 回归，支持向量机等模型不同，神经网络的权重和偏置项不能用0 或者 1 这样简单 的固定值来初始化，而是用随机数进行初始化。 在编程实现时，最常用的两种随机数是正态分布和均匀分布。前者用某一区间如[0,1] 内的均匀分布随机数初始化权重值。后者一般用0 均值，单位方差的正态分布N(0, 1)产生随 机数来初始化权重。具体实现时，