5.1 Dictionary Learning.ppt

* * * 64x128大小的图片中，得到7*15=105个block，每个block提取9*4=36的梯度方向特征，因此总计提取105*36=3780维的HOG特征 64x128大小的图片首先被8*8的cell进行划分（8*16个cell），每相邻的四个cell组成一个block（相邻的block重叠2个cell） 传统的采样方式：香农采样定理-为了精确重构原始信号，采样频率不得低于信号最高频率的2倍。依照香农采样定理会导致海量数据，大大增加了存储和传输的代价。 压缩传感-一种全新的信息获取技术，可能带来革命性突破。自然信号在时域内一般是不稀疏的，但可以在某种基作用下得到其稀疏表示，然后对其进行测量。 * * * * * * * * * * * * * * 第5节 字典学习（Dictionary Learning） 内 容 稀疏性表示与分类 压缩感知 字典学习及应用 关键词对照 稀疏性表示：Sparse representation 压缩感知 : Compressed sensing 字典学习 : Dictionary learning 稀疏性表示与分类 稀疏性问题的数学表述：L0问题，呈现三种相互等价的形式： L0问题为NP组合难问题，对较大规模数据无法直接求解；为使求解稀疏性问题变得可行，当前一般性的作法是将L0问题放松到L1问题,从而将一个组合优化问题放松到一个凸优化问题来求解。 L1形式： L0形式： * 稀疏性表示与分类 最稀疏 较稀疏 不稀疏 最不稀疏？ NP组合 非光滑 凸规划 光滑凸规划 不易求解 * 2-范数投影是 非稀疏解 1-范数投影 是稀疏解 Ron Rubinstein：An Introduction to Sparse Representation And the K-SVD Algorithm * -1 +1 1 稀疏性表示与分类 在选择1范树最小化的情况下，所求得的向量有相当一部分元素为零 稀疏表示的求解 “Greedy”贪心 方法. 每个循环中选择一个字典元素 Step 1: 找到一个能够最好的表示输入信号的元素 Next Steps:找到剩余元素中一个能够最好的表示输入信号的元素 表示误差达到一个足够小的阈值或者所选元素足够多的时候停止 改进方法: Orthogonal Matching Pursuit (OMP), Optimized OMP (OOMP) 基于稀疏表示的目标检测 基于L1-norm最小化学习的线性分类器(L-LML) 针对整张的64x128大小的人体训练图片，提出一种线性分类算法，意在用于特征选择和目标分类。 首先提出L1-norm Minimization Learning (LML) 构建线性分类器的法向量。每个训练样本是一个3780维的HOG特征向量。 HOG特征 * 基于稀疏表示的目标检测 基于L1-norm最小化学习的线性分类器(L-LML) 第i个训练样本的标号 权重向量/法向量 保证可分的参数 HOG特征 2范数加权的可视化 1范数加权的可视化 * 内 容 稀疏性表示与分类 压缩感知 字典学习及应用 压缩感知（Compressed Sensing） x = D? w M x 1 M x N N x 1 欠定线性方程： x：稀疏或者可压缩信号 D ：测量（采样）矩阵，确定或者随机 w ：测量向量 * 压缩感知（Compressed Sensing） 内 容 稀疏性表示与分类 压缩感知 字典学习及应用 Dictionary Learning 字典的学习（构造字典） Sparse representation 稀疏“编码”问题 字典学习（Dictionary learning） 背景知识 线性问题的一般形式： 其中 w是待求向量 w ：测量向量是未知的 数据回归问题：y = Xw, w 是未知的; 稀疏表示问题: x = Dw, w 是未知的; 字典学习问题: x = Dw, w和D都是未知的. 背景知识 线性问题的一般形式： (1) 其中 w是待求向量 w ：测量向量是未知的 情况I：如果M N, 方程(1)是过定的（Over-determined），没有可行解； 情况II：如果M N, 方程(1)是欠定的（Under-determined），有无数可行解； 背