数据驱动建模：奇异值分解和主成分分析.ppt

数据驱动建模：奇异值分解与主成分分析 data-driven modeling: singular value decomposition (SVD) and principal component analysis (PCA) “Omics”: 海量数据 ? microarray: – 在 N 个样本中 – 同时监测 M 个基因的表达水平 – 数据量： M x N – 未考虑关于 N 个基因的背景知识 问题 ? 如何刻画数据的主要变化趋势？ ? 个别基因与主要趋势如何联系？ 如何用“最少数量” 的独立参数（最少的假 设），来代表数据中“有意义”的信息？ 假设： k 种相互独立的调控机制，其相对贡献： ? j 对每个基因的影响： Uj （有 M 个分量） 对每个实验条件的影响： Vj ( 有 N 个分量） 1 , 1,..., M ik k k i a x b k N ? ? ? ? ? Ax b N 组（不同条件下）近似观察结果： { , 1 ,..., } k b k N ? ？与每组观察结果对应的体系状态参数 { , 1 ,..., }, 1 ,..., ik x i N k M ? ? 复习 ? 线性组合、线形空间 ? 向量的内积，正交 ? 向量、基矢量 ? 线性变换与矩阵乘法 1, 1, 1, 1 1 1 1 1 ( ) ( ,..., , ,..., ) ( ,..., , ,..., ) 0 0 0 .. 0 0 0 0 0 0 0 0 0 0 0 0 0 0 mn mj j nj mj ij j nj j k j k i k T k k M k k N k a u v u v A U V U V ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? u u u u v v v v SVD 是什么？ ? 考虑 M x N 的矩阵 A : M M orthogonal matrix V: N N orthogonal matrix : M N diagonal matrix T A U V U ? ? ? ? ? ? 1 1 2 2 ( ) . . , , . . , or , or V j j j j j j Mj Nj T i j ij T i j ij U u v u v u v U U I V I ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 1 2 M u , u ,..., u u v u u v v 1 2 0 0 0 0 0 0 0 0 , 0 0 ... 0 0 0 0 0 0 0 0 0 0 ij j ij j ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 数据压缩与数据过滤 1, , k: number of non-zero singular values *( ), j T j j j k A N M k k M N ? ? ? ? ? ? ? ? u v 小的奇异值代表误差 1, 1 1 1, , : number of singular values with values larger than some , j j T j j j l T j j j j l k A l A A ? ?? ? ? ?? ? ? ? ? ? ? ? ? ? u v x x u v x example T j j j AV U V V U A ? ? ? ? ? ? v u 奇异值分解与几何变换： A 的“大小”（范数） 2 2 2 1 1 || || || || || || ( ) ij j j j j M N F l i j l A A a ? ? ? ? ? ? ? ? ? ?? ? v u x b=Ax 奇异值分解与线形方程组 { | 0}: basis of null space for A 0 A c ? ? ? ? ? ? ? ? ? ? v x x v ( ) ( ) A b b b c ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? x b