利用参数表示任意维数正交矩阵的ICA新算法.docVIP

36 自 动 化 学 报 34 卷 向量 x 1 , x 2 , · · · , x k , 不存在开区间 (a, b, a, b ∈ R, 使存在某个 xk+1 = (xk+11 , xk+12 , · · · , xk+1k+1 , · · · , xk+1N 中第 i (i = 1, 2, · · · , k + 1 个元素在满足任 意 xk+1i ∈ (a, b 时, x 1 , x 2 , · · · , x k , x k+1 线性相关. 证明. k N ? 1 时, 保留矩阵 [x 1 , x 2 , · · · , x k , xk+1 ] 的包含第 i 行的任意 k + 1 行, 去掉其余的行, 得到 (k + 1 × (k + 1 的方阵, 类似引理 1 的讨论, 命题得证. 我们并不关心在引理 2 中去掉的那些行中的元 素是否可以在某个开区间里连续取值而保持向量组 线性相关 (我们认为这是可能的, 从引理 2 可知: 若 x 1 , x 2 , · · · , x k , x k+1 线性相关, 则 x k+1 中被取出来 的 k + 1 个元素只能在 Rk+1 中离散地取值, 这些 被取出来 “变短” 的 k + 1 维向量是 Rk+1 中的零测 集. 由于在欧几里德空间中, 低维空间中的零测集一 定是高维空间的零测集, 所以 x k+1 是 RN 中的零测 集. 设 x 1 是 RN 确定的非零向量, 在 RN 中随机均 匀产生 N ? 1 个点, 使之分别和 x 2 , x 3 , · · · , x N 这 N ? 1 个向量对应. 显然 x 2 , x 3 , · · · , x N 是 RN 中 的均匀分布. 下面证明 x 1 , x 2 , · · · , x N 这 N 个向量线性无关 的概率趋向 1. 定理 1. 令 X 是以上面得到的 N 个向量为列 向量的方阵, 则 det (X = 0 的概率是 1. 证明. 在上面随机均匀得到 x2 , x3 , · · · , xN 的 过程中, 造成 det (X = 0 可以分为 N ? 1 种情 况, 并以 Ai ( i = 1, 2, · · · , N ? 1 来表示: Ai 表 示 x 1 , x 2 , · · · , x i+1 线性相关, 而 x 1 , x 2 , · · · x i 线性 无关. 当 Ai 发生时, 又可以分为 CiN +1 ( x i+1 中 N 个元素, 取其中 i + 1 个元素的组合数 种情况, 以 Bij ( j = 1, 2, · · · , CiN +1 来表示发生了 Ai 中的第 j 种情况, 每一种 Bij 发生时都将得到一个 RN 中的 零测集, 而这些情况数经线性组合的总和是有限种 情况. 我们知道有限个零测集的并也是一个零测集, 所以这些情况的总和对应一个零测集. 另一方面, 使 det (X = 0 的那些集合是上面提到的有限种情况 的并集的子集. 零测集的子集必然是零测集, 所以 使 det (X = 0 的向量是 RN 中的零测集. 由于算 法中得到的随机向量是 RN 上的均匀分布, 所以我 们可以把测度的大小看作是出现机率的大小, 如同 古典概率模型中处理面积的方法一样. 也就是说, 使 det (X = 0 的那些向量几乎不可能在上面进行的 随机均匀实验中出现, 即 det (X = 0 的概率是 1. 定理 1 说明 OICA 算法中得到的 x 1 , x 2 , · · · , xN 是线性相关的情况是稀疏到可以忽略不计的. 反 之, 线性无关的情况则几乎是绝对的, 这也说明了在 本算法中几乎可以得到一定是线性无关的向量组. 以概率为 1 得到 x 1 , x 2 , · · · , x N 线性无关, 通 过正交单位化, 就可以以概率为 1 得到 RN 上的正 交矩阵. 这个过程简单而且几乎不会失败. 下一个问题是, 这种随机性给了我们很大的 “自 由”, 虽然这种随机性由于 ni (X i 的作用以及此后 遗传算法的搜索过程而被 “抹杀” 了, 理论上这种 “随机性” 不会带来分离结果上的差异, 但是至少这 种 “随机性” 会影响算法的初值选择以及实际计算 过程中的收敛速度. 可以看出, 遗传算法中初值设置 问题能够转移到这种 “随机性” 的处理上来, 如果我 们对 ICA 问题有更多的先验信息, 结合具体观测信 号的结构, 就可以构造利于算法的 “随机” 向量, 计 算性能上也许会得到改善. 对信号更多的先验信息 可以指导我们对这些 “随机” 向量进行选择, 即使不 能精确指导, 但至少可以在 “概率” 意义下指导我们: 信号在哪些方向更加重要、 更加需要精