模式识别中核方若干问题研究.pdfVIP

摘要 核方法是新近发展起来的一种模式识别方法，它的理论基础来自于统计学习 理论。统计学在解决模式识别问题中发挥了基础的作用，但是传统的统计学所取 得的成果大多建立在渐近理论之上，即样本观测数量趋于无穷多的时候的统计 性质。这个条件在现实中是比较苛刻的，也是难以满足的。虽然如此，传统上仍 然以样本观测数目无穷多为前提来推演各种算法，这不能不说是一个缺陷，它 也是造成神经网络等算法中的过学习问题的原因之一。 相比之下，统计学习理论的出发点就是研究有限样本观测情形下的模式识 别问题，经过几十年的发展，它已经具备完备的理论基础和严格的理论体系。统 计学习理论已经成为机器学习的一个重要的研究方向。 本文主要讨论模式分类与聚类中的核方法，以及其它相关的理论和应用的 关键问题。初步取得的研究成果和创新有： 第一，经典的核函数作用在欧氏空间的向量上，作者从空间旋转的角度，提 出了把核函数的作用域扩展到向量集合之上的方法，使之能够胜任需要表示和 处理更复杂的数据对象的机器学习任务。与类似的工作相比，它不需要预先假 定数据服从某个概率分布，也不需要利用数值方法计算复杂的积分。在人脸识 别的实验中，本方法比类似的工作达到了更低的误识率。 性的，且着重发掘和利用映像空间的全局结构。对于非线性结构，它们无能为 力。本文讨论了局部空间结构对人脸识别的意义，我们认为局部空间结构可以 用线性或近似线性的方法学习和表示，并且可以通过对局部结构的逐段线性化， 来学习和表示全局的非线性结构。结合LLE算法，提出了利用逐段线性化学习 表现出更好的识别能力。 第三，LPP算法是一种数据降维和数据可视化方法，它是基于谱图理论的。 由于谱图理论与微分流形具有密切的关系，且对于流形来说，测地线距离比欧 氏距离更能准确揭示数据间的相似性，将LPP算法推广到利用测地线距离进行 数据降维，并把这一方法扩展到核函数特征空间。在多个降维后的人脸识别实 验中，它比LPP算法取得了更好的性能。 第四，尽管有众多的核函数可供利用，但是如何为特定的机器学习任务选择 合适的核函数，是核方法的理论研究中一个具有挑战性和开放性问题。从流形 学习和保形映射的角度，利用核函数特征空间中的流形学习算法，提出了一种 试探性解决方法。与作者类似的工作是针对某一个核函数进行调整和选择来提 高分类性能，而这里则从整体的角度对核函数进行选择。 第五，随着以科学研究为目的的合作进行模式识别的任务越来越广泛，嚏口何 保护合作双方的数据库安全的问题日益突出。提出了核函数的保密多方计算的 问题，并将它转化为向量内积的保密多方计算问题，利用不经意传输协议，提 出了一种解决方法。与已有的方法相比，它计算复杂度低，且通信负载大幅度 降低。 本文以构造新的核函数为主要研究方向，对于核方法在实际应用中的问题， 如支持向量的选取、如何提高训练速度、减少噪音对支持向量选择的影响，则 讨论不足，这将在以后的研究工作中予以关注。 关键词：模式识别；核方法；核函数；统计学习理论；分类；聚类；谱图理论； 局部近邻关系；空间旋转；保密多方计算：不经意传输协议 Abstract 0n methodisa machine meIhod buildst11e KemeI recemly．n powerful 1eaming deVel叩ed bavebeen an roleinmachjne importom s州sticalIearningtheo叫．Statisticsplayi“g 1eaming卸d cl粘sical mostofresultsof statisticsderiVef沁m