凸函数基础知识点.docVIP

凸函数基础知识点

凸函数的定义

设函数\(f(x)\)定义在区间\(I\)上，若对于任意的\(x_1,x_2\inI\)，以及任意的\(\lambda\in[0,1]\)，都有\(f(\lambdax_1+(1-\lambda)x_2)\leq\lambdaf(x_1)+(1-\lambda)f(x_2)\)，则称\(f(x)\)为区间\(I\)上的凸函数。若不等式严格成立（当\(x_1\neqx_2\)且\(\lambda\in(0,1)\)时），则称\(f(x)\)为区间\(I\)上的严格凸函数。

直观上，凸函数的图像上任意两点间的弦都在函数图像上方。例如，二次函数\(f(x)=x^2\)是\((-\infty,+\infty)\)上的凸函数，对于任意\(x_1,x_2\inR\)和\(\lambda\in[0,1]\)，有\(f(\lambdax_1+(1-\lambda)x_2)=(\lambdax_1+(1-\lambda)x_2)^2=\lambda^2x_1^2+2\lambda(1-\lambda)x_1x_2+(1-\lambda)^2x_2^2\)，而\(\lambdaf(x_1)+(1-\lambda)f(x_2)=\lambdax_1^2+(1-\lambda)x_2^2\)，经过简单运算可以验证\(f(\lambdax_1+(1-\lambda)x_2)\leq\lambdaf(x_1)+(1-\lambda)f(x_2)\)。

凸函数的判定条件

1.一阶导数判定：若函数\(f(x)\)在区间\(I\)上可导，则\(f(x)\)为凸函数的充要条件是\(f(x)\)在\(I\)上单调递增。例如，对于函数\(f(x)=x^2\)，其导数\(f(x)=2x\)，在\((-\infty,+\infty)\)上单调递增，所以\(f(x)=x^2\)是凸函数。

2.二阶导数判定：若函数\(f(x)\)在区间\(I\)上二阶可导，则\(f(x)\)为凸函数的充要条件是\(f(x)\geq0\)对于任意\(x\inI\)成立。比如函数\(f(x)=e^x\)，其二阶导数\(f(x)=e^x0\)对任意\(x\inR\)成立，所以\(e^x\)是\((-\infty,+\infty)\)上的凸函数。

凸函数的性质

1.局部极小值与全局极小值：如果\(f(x)\)是凸函数，那么\(f(x)\)的任意一个局部极小值点都是全局极小值点。假设\(x_0\)是\(f(x)\)的一个局部极小值点，对于任意\(x\inI\)，设\(\lambda\in(0,1)\)，构造\(x_{\lambda}=\lambdax+(1-\lambda)x_0\)。因为\(f(x)\)是凸函数，所以\(f(x_{\lambda})\leq\lambdaf(x)+(1-\lambda)f(x_0)\)。又因为\(x_0\)是局部极小值点，当\(x\)充分接近\(x_0\)时，\(f(x_{\lambda})\geqf(x_0)\)，由此可以推出\(f(x)\geqf(x_0)\)，即\(x_0\)是全局极小值点。

2.Jensen不等式：设\(f(x)\)是区间\(I\)上的凸函数，\(x_1,x_2,\cdots,x_n\inI\)，\(\lambda_1,\lambda_2,\cdots,\lambda_n\)是满足\(\sum_{i=1}^{n}\lambda_i=1\)的非负实数，则\(f(\sum_{i=1}^{n}\lambda_ix_i)\leq\sum_{i=1}^{n}\lambda_if(x_i)\)。当\(f(x)\)是严格凸函数且\(x_1,x_2,\cdots,x_n\)不全相等时，不等式严格成立。Jensen不等式在许多领域有广泛应用，比如在概率论中，若\(X\)是随机变量，\(f(x)\)是凸函数，则\(f(E(X))\le