稀疏优化与低秩矩阵优化.pptVIP

修乃华 北京交通大学理学院 2014 年 3 月 6 日 稀疏优化与低秩矩阵优化 内容提要 模型与基本概念 稀疏优化与压缩感知 应用实例 理论与算法 分析与思考 一、模型与基本概念 稀疏优化问题是指在某种线性约束条件下，求一个决策变量使其非零元素个数达到极小.它的基本数学模型是： 其中 ，b 是一个 m 维向量,mn. 矩阵秩极小（或低秩矩阵恢复）问题是指在某种线性约束条件下，求一个决策矩阵使其秩达到极小.它的基本数学模型是： 其中 是从 到 的线性变换，b 是一个 d 维向量. 一、模型与基本概念 【注】 1、模型（2）是模型（1）的一个推广； 2、可以把零范数和秩函数放在约束中，变成 非凸 约束优化模型； 3、如果问题是高维复杂的，则可在模型中增加其他约束条件或者目标函数,如非负稀疏优化、低秩半定矩阵矩阵优化. 一、模型与基本概念 在一般情况下，模型（1）是一个NP-困难的组合优化问题,因为（1）等价于在如下有限个特殊集合 与集合 中选一个解.由此可知，所有这些模型在一般情况下都是NP-困难问题. ◆如何松弛（近似）易求解？ →理论研究； ◆如何设计算法？→算法研究； ◆如何应用到实际部门？→应用研究. 二、稀疏优化与压缩感知 压缩感知是国际上近期出现的一种信息科学理论，它首先由著名华裔数学家、2006年菲尔兹奖得主陶哲轩 Candes、美国国家科学院院士Donoho独立提出,被评为2007年度美国十大科技进展之一,其基本内容是： 如果原始信号具有稀疏性的特征，那么通过少量的观测信息就能够恢复原始信号. 这个理论突破了香农定理对信号采样频率的限制，能够以较少的采样资源，较高的采样速度和较低的软硬件复杂度获得原始信号. 二、稀疏优化与压缩感知 假设原始信号为向量 （维数大），测量信息为 向量 （维数小），且它们满足线性关系，则其数学模型就是一个欠定线性方程组 . 如果原始信号 具有稀疏性，则其数学意义就是零元素多，即非零元素少, 于是可以转化为稀疏优化模型： 二、稀疏优化与压缩感知 假设原始信号为矩阵X（维数大），测量信息为矩阵B（维数小），且它们满足线性关系，则其数学模型就是一个线性矩阵方程组 A(X)=B . 如果原始信号矩阵X具有低秩性，则其数学意义就是期望矩阵X的秩rank(X)极小.于是可以转化为矩阵秩极小问题： 如果原始信号海量高维，呈现出复杂性、限制性等，则可以根据其各种特性建立更为细致的优化模型. 二、稀疏优化与压缩感知 文献计量分析： 至2011年10月，压缩感知共涉及29个学科领域,主要应用于 工程技术(50.917%)、计算机科学(21.865%)、 数学应用(16.667%)、 放射核医学成像(13.761%)、物理(10.398%)、 光学设计(9.021%)、成像科学摄影技术(4.587%)、 电信技术(4.128%)、地球化学物理学(3.823%)、 生物分子学(2.446%)等领域。 三、应用实例 例1、带选择限制的投资组合优化问题 我们知道，诺贝尔经济学奖获得者Markowitz于1952年提出投资组合选择理论，开创了金融风险理论的先河.它的数学模型是一个线性约束的二次优化问题，如果投资者发现证券种类太多，想把他的这笔资金投资在限定的几种证券之中，那么就在原来的基础上增加约束条件 .从而得到稀疏优化模型： 三、应用实例 例2、互补问题的稀疏解 众说周知，二人矩阵博弈模型、具有生产和投资的经济均衡模型、交通流均衡模型等，都可以转化为互补问题.如果这个互补问题有多个解，则在这个解集中寻找一个最为稀疏的解： 三、应用实例 例3(上)、低秩协方差矩阵估计 协方差矩阵估计就是从采样数据矩阵中估计出真实的低秩协方差矩阵.它是多元统计分析中最为基本的内容之一，大量的统计学方法包括聚类分析、主成分分析、线性和二次判别分析、回归分析都需要它.随着大数据时代的到来，要求从海量高维数据中分析出深刻的量化指标和预测，协方差矩阵估计被应用在越来越多的学科领域和生产实际中，如气象预报、基因表达、功能MR成像、风险管理和套利优化、社交网络. 三、应用实例 例3(下)、低秩协方差矩阵估计 给定对称矩阵 ，用 表示半正定性.从最优化的角度分析，如果低秩性视为一个目标，那么低秩协方差矩阵估计问题可以描述为，已知对称矩阵 ，求解如下的多目标优化： （5）