一种基于因果网络支持向量回归特征选择算法.docVIP

一种基于因果网络的支持向量回归特征选择算法 　　摘 要 为了提高支持向量回归算法的学习能力，提出了一种基于因果网络的特征选择算法. 该方法假设目标变量和特征候选集之间符合一个因果网络模型，然后利用基于条件独立性测试的方法对目标变量的直接影响特征进行识别，从候选特征集之中获取与目标变量有着直接因果关系的特征子集.虚拟和真实数据集上的实验结果表明，该特征选择算法适用于支持向量回归算法，优于目前其他算法. 　　关键词 支持向量回归； 特征选择； 因果网络； 条件独立性测试 　　中图分类号 TP181 文献标识码 A 文章编号 1000-2537（2015）04-0090-06 　　Abstract In order to improve Support Vector Regression （SVR） learning ability， a novel feature selection method based on causal network is proposed. Firstly， the target variable and its candidate feature set are assumed to conform a causal network model. Subsequently， the causal feature can be detected by conditional independence test based method. Both virtual and real experimental results show that the proposed algorithm outperforms other methods when applied to SVR. 　　Key words support vector regression； feature selection； causal network； conditional independence test 　　对候选特征进行维数约简在支持向量回归（SVR）预测中占有重要地位，其学习能力很大程度上依赖特征集的选择.尽管实验表明[1]，支持向量机在先进行特征选择后往往比不进行特征选择的预测效果好，而且能很大程度上提高训练速度，但是要严格地确定特征集大小很困难.近十年来，虽然很多特征选择算法被提出[2-4]，但目前还没有一种能完全确定特征集的方法. 　　目前适用于SVR的特征选择算法大都基于最大依赖性准则 （Max-Dependence）[5]. 在特征选择中， 最大依赖性准则目的是寻找一个包含m个特征的集合S， 使得该集合与待预测变量y之间存在最大的依赖关系 （依赖关系一般使用互信息来评估），如式（1）所示. 　　实际操作中，由于候选特征往往是高维的，很难在高维上对公式（1）进行估算.鉴于此，一些学者提出了解决方法.例如MRMR算法[2]，利用最大相关性准则（Max-Relevance）和最小冗余性准则（Min-Redundance）来逼近公式（1）； MRMS算法[3]则利用最小冗余性准则（Min-Redundance）和最大显著性准则（Max-significant）对公式（1）进行概率性估算； MIGS算法[4]同样利用（条件）互信息对公式（1）的值进行估算.尽管使用这些特征选择方法后，SVR能够一定程度地提升学习精度和速度，但仍然无法完全确定真实的特征集.这些方法有一个共同的缺点，如图1所示. 　　其中，y为需要预测的目标变量，X={x1，x2，x3，x4，x5}为y的候选特征集，且满足图1所示因果网络模型[6].显然，{x2，x3，x4}为y的直接因果特征，即满足y=f（x2，x3，x4）， 所以y可以完全由{x2，x3，x4}确定.实际上，由于在这样的结构里，{x1，x5}对于y的依赖性往往要比{x2，x3，x4}大，现存的特征选择算法一般都会将{x1，x5}首先加入特征集队列里，在其后的交叉验证等方法里也很难将{x1，x5}移除.一方面，这样直接造成了特征集冗余；另一方面，根据每个特征选择算法的各自的机制，有可能会将{x2，x3，x4}其中的点移除.显然，这样都会影响SVR的预测准确率. 　　与现存的特征选择算法不同，因果网络是一种对可观测数据进行强有力推理的工具，可以方便地表示和分析确定性和概率性的事物.在因果推断的问题中，利用其可以有效地识别与待预测变量有着因果关系的特征. 基于此，提出了一种基于因果网络且适用SVR的特征选择算法. 该算法将传统的基于逼近最大依赖性准则的特征选择算法转移到因果网络的识别上来，直接对要进行预测的目标变量进行因果推断，找出其因果特征集，找到了一种可以确定特征集