机器学习中用到的数值分析.docxVIP

第四章背景知识 condition number 从优化或者数值计算的角度来说， L2范数有助于处理con dition number 不好的情况下矩 阵求逆很困难的问题。 如果方阵A是奇异的，那么 A的condition number就是正无穷大了。实际上，每一个可 逆方阵都存在一个 con diti on nu mber 。 对condition number来个一句话总结：condition number是一个矩阵（或者它所描述的线 性系统）的稳定性或者敏感度的度量，如果一个矩阵的 condition number在1附近，那么 它就是 well-conditioned 的，如果远大于 1,那么它就是ill-conditioned 的，如果一个 系统是ill-conditioned 的，它的输出结果就不要太相信了。 应用 w = （XJX）1XTb 如果当我们的样本 X的数目比每个样本的维度还要小的时候， 矩阵X T X将会不是满秩的, 也就是X T X会变得不可逆，所以 w八 就没办法直接计算出来了。 如果加上L2规则项，就变成了下面这种情况，就可以直接求逆了： 梯度 设体系中某处的物理参数 （如温度、速度、浓度等）为W,在与其垂直距离的 dy处该参数为w+dw则称为该物理参数的梯度，也即该物理参数的变化率。如果参数为速度、浓度、温度 或空间，则分别称为速度梯度、 浓度梯