11行python代码的神经网络 详细公式推导.pdfVIP

A Neural Network in 11 lines of Python http://iamtrask.github.io/2015/07/12/basic-python-network/ 1.1.1. 单层神经网络的 python 实例 按照NN的定义，这个应该是单层⽹络 ， import numpy as np def nonlin(x, deriv=False): if (deriv == True): return x * (1 - x) return 1 / (1 + np.exp(-x)) # input dataset X = np.array([[0, 0, 1], [0, 1, 1], [1, 0, 1], [1, 1, 1]]) # output dataset y = np.array([[0, 0, 1, 1]]).T # seed random numbers to make calculation # deterministic (just a good practice) np.random.seed(1) # initialize weights randomly with mean 0 syn0 = 2 * np.random.random((3, 1)) - 1 #bias 是 0 for iter in range(10000): # forward propagation l0 = X l1 = nonlin(np.dot(l0, syn0)) # how much did we miss? 使用了 ((y-y)**2)/2 的代价函数 l1_error = y - l1 # multiply how much we missed by the # slope of the sigmoid at the values in l1 l1_delta = l1_error * nonlin(l1, True) # update weights syn0 += np.dot(l0.T, l1_delta) #syn0 = syn0 + np.dot(lo.T,l1_delta) print(Output After Training:) print(l1) 这个例子是使用了[0, 0, 1], [0, 1, 1], [1, 0, 1], [1, 1, 1]四个输入样本 ，对应的 0, 0, 1, 1 四个输出值。需要找到 NN 的 w ，也就是程序中的 syn0 ，这个网络只有一个 hide 层，l1。 为此，程序迭代了 10000 次。 这里 l1 的输出就是 y 的估值，这里使用的代价函数是 ℒ = − = − （1） 由于刷新 syn0 （w ）的方法是 ℒ ω = ω − α （2） α是学习步长，这里取 1 由 （1）式， 1 = 1 + 1