检测多元相关关系的最大信息熵方法detecting-电子与信息学报.pdf

第 37 卷第 1 期 电 子 与 信 息 学 报 Vol.37 No.1 2015 年 1 月 Journal of Electronics Information Technology Jan. 2015 检测多元相关关系的最大信息熵方法 张亚红* 李玉鑑 张 婷 (北京工业大学计算机学院 北京 100124) 摘 要：目前提出的用于检测变量间相关关系的方法，如最大信息系数(Maximal Information Coefficient, MIC)， 多应用于成对变量，却很少用于三元变量或更高元变量间的相关性检测。基于此，该文提出能够检测多元变量间相 关关系的新方法 最大信息熵(Maximal Information Entropy, MIE)。对于 k 元变量，首先基于任意两变量间的 MIC 值构造最大信息矩阵，然后根据最大信息矩阵计算最大信息熵来度量变量间的相关度。仿真实验结果表明 MIE 能够检测三元变量间的 1 维流形依赖关系，真实数据集上的实验验证了 MIE 的实用性。 关键词：数据挖掘；多元相关；最大信息系数；最大信息熵 中图分类号：TP391 文献标识码： A 文章编号：1009-5896(2015)01-0123-07 DOI: 10.11999/JEIT140053 Detecting Multivariable Correlation with Maximal Information Entropy Zhang Ya-hong Li Yu-jian Zhang Ting (College of Computer Science Beijing University of Technology, Beijing 100124, China) Abstract: Many measures, e.g., Maximal Information Coefficient (MIC), are presented to identify interesting correlations for pairs of variables, but few for triplets or even for higher dimension variable set. Based on that, the Maximal Information Entropy (MIE) is proposed for measuring the general correlation of a multivariable data set. For k variables, firstly, the maximal information matrix is constructed according to the MIC scores of any pairs of variables; then, maximal information entropy, which measures the correlation degree of the concerned k variables, is calculated based on the maximal information matrix. The simulation experimental results show that MIE can detect one-dimensional manifold dependence of triplets. The applications to real datasets further verify the feasibility of MIE. Key words: Data mining; Multivar