机器学习斯坦福课后作业笔记讲述.docx

作业三 题目解析：本作业主要有两个知识点：使用逻辑回归来实现多分类问题(one-vs-all)以及神经网络应用，应用场景是机器学习辨认手写数字0到9。 多分类逻辑回归问题 对于N分类问题(N=3)，就需要N个假设函数(预测模型)，也即需要N组模型参数θ（θ一般是一个向量）然后，对于每个样本实例，依次使用每个模型预测输出，选取输出值最大的那组模型所对应的预测结果作为最终结果。 主要应用三个函数：predictOneVsAll.m, oneVsAll.m, lrCostFunction.m 其中，oneVsAll中用优化函数fmincg来找到最优参数，结果是参数矩阵k*n+1，其中k是多分类的类别数，n则是特征数，此处包含了k个模型，每个模型有各自的参数，在预测函数中，[c,i] = max(sigmoid(X * all_theta), [], 2)，把k个模型中结果最大的那个类别选中。c是每一行中最大的数，是一个列向量，i是每一行最大的那个数字的列位置 此处的主要是要求用向量规则计算损失函数和损失函数的倒数公式，不再利用循环。 损失函数（未应用正则化）如下：F:\mechine learning\ex3 梯度函数如下 在应用了正则化之后的函数如下，需要注意的是此时偏置参数不可计算在内，需要减去θ0 梯度函数同理，θ0的求导要单独分开 Matlab的max用法知识点加一：[a,b]=