西安交通大学基础科学研究中心 - 数学实验室---杭州电子科技大学理学院.pdfVIP

稀疏最优化：非凸正则化理论 徐宗本 西安交通大学数学与统计学院 信息与系统科学研究所 2012.4.20 纲 要 稀疏性与稀疏机器学习问题 L  正则化理论 1/2 应用举例 非凸正则化理论 展望 稀疏性 (表示稀疏性) 稀疏性(Sparsity)：信息表示的普遍属性 (在所选定的参考基底(基、字 典)下, 一个表示所呈现出的多数系数(坐标)近似为零的特征)。 N x  s  x  s , V={i : s }, |V |N  i i  i i i  i 1 i V y F (x ,x , x ) 1 2 N 稀疏性 (表示稀疏性举例) y Ax ; A [A , A ,..., A ]; Ai [v1,v2 ,...,vN ]; 1 2 k i y ∈i −th class ⇔x [0, ,0,xi , , xi N ,0, ,0] ,1 , i y min x 0 s.t. y Ax +ε 人脸识别问题 x 稀疏性 (稀疏性问题) 稀疏性问题：一个与大量疑似要素相关但本质上仅由少量要素决定的问题。 y F (x ,x ,...,x ) 1 2 n  压缩感知问题  图像处理问题  文本处理问题  复杂网络问题  基因选择问题  指数追踪问题  变量选择问题  …… 问题的稀疏性通过表示的稀疏性来刻画，依赖于表示基(字典)的选择。 稀疏性(稀疏性问题举例) 视觉编码：视觉神经元对视觉输入的响应是稀疏的。初级视皮层及V1 区的大部分神经元对视觉信息提供线性特征表示(线性特征检测器),而 V1区的其他部分及其它区域神经元对视觉信息提供非线性特征整合表示。 视觉细胞群对视觉输入 响应具有稀疏性 (Olshausen Field, Nature, 1996) a min E ∑[I (x , y ) =−∑aiφi (x