多变量IB方法的协作模型和算法研究.pdfVIP

摘要 摘要 IB方法(InformationBottleneck)通过对数据的压缩来分析其中所蕴含的内在 模式，在机器学习、模式识别等众多领域中取得了成功的应用。多变量IB方法 Information (MultivariateBottleneck)是对IB方法的拓展，采用更多的变量来抽象 现实问题，让更多的信息参与到数据的压缩中，通过它们之间的互相配合共同 完成更具挑战性的数据分析任务。 多变量IB方法为多元数据分析问题提供了理论框架，其协作模型是对数据 分析任务高度抽象化的一种形式，刻画了变量之间的协作关系，为数据分析任 务目标函数的确定提供了依据。一个好的协作模型可有效利用领域问题中所有 有价值的信息来完成数据分析任务。算法则实现了对目标函数的优化，事关数 据分析的效率及目标函数的优化程度。协作模型与算法均是多变量IB方法研究 的核心问题。 本文从双向压缩、无冗余多视角聚类、多特征变量信息融合和选择性数据 分析四个问题出发，重点研究多变量IB方法的协作模型与算法，主要成果有： (1)提出交叉对称IB协作模型(ICSIB)，将压缩之前的原特征变量引入到对 称IB的双向压缩中，解决对称m中特征信息损失问题。ICSIB算法采用交错的 “抽取．合并”顺序迭代过程对ICSIB目标函数进行优化，理论上保证收敛到目 标函数的局部优解，具有较低的时间和空间复杂度。实验表明，在原特征变量 的协助下，ICSIB算法所得到的数据双向压缩模式更接近于数据中真实的内在模 式。 (2)提出无冗余IB协作模型(NrIB)，将己知数据划分信息以负变量的形式融 入到数据的压缩中，使它们协助IB方法挖掘一个新的高质量聚类模式。NrIB算 法既适宜于分析共现数据又适宜于分析欧氏空间的非共现数据，可挖掘出数据 中线性及非线性可分模式，无需额外参数来估算欧氏空间中的信息量。实验表 明，NrlB算法可有效地利用已知数据划分信息来学习一个无冗余高质量的聚类 模式。 (3)针对多特征变量信息融合的问题，提出多特征IB协作模型(MflB)与基 于数据局部一致性特征的m协作模型(LCIB)，使得多变量m方法可在多种特征 摘要 信息的协助下共同挖掘数据中所蕴含的内在模式。实验表明，综合考虑了多种 特征信息的MflB算法与LCIB算法可更有效地发现数据中所蕴含的真实模式。 (4)提出一个具有数据选择分析能力的DSIB算法。该算法采用顺序“或抽 取．或合并”的策略来优化DSIB目标函数，可有选择地对数据进行模式分析。 论文从理论上证明了该优化算法可在有限步骤内收敛到目标函数的局部优解。 实验表明，DSIB算法可更好地发现数据中凝聚性强的簇模式。 关键词：IB方法，多变量IB方法，协作模型，算法，双向压缩，无冗余多视角 聚类，多特征变量信息融合，局部一致性，数据选择 Abstract TheInformationBottleneck isan data 08)methodunsupervisedorganization thedata themintoabottleneck extracts bycompressing technique，which pattems hasbeen usedin asmachine and variableand widely manyfields，such learning for IBmethodisa framework multivariate recognition．The