自动构造非参数回归模型以及其自然语言描述.docxVIP

非参回归模型的自动生成及其自然语言描述 -自动贝叶斯协方差识别 ABCD Auto bayesian covariance discovery 1 概述 在本论文中，我们介绍了一个对包含了上述成分时序数据进行建模的系统，我们称其为ABCD(自动贝叶斯协方差发现)系统。这个系统通过一种合成的语法定义了高斯建模过程的开放型语言。。遍历了问题空间，使用边缘似然度和贝叶斯信息准则来评估模型。这一语言的合成结构特点允许我们能开拓一种方法，自动将模型的各个部分转换为描述了数据模式的自然语言描述。 我们展示了几个自动报告的例子，它们醒目的解释了在不同数据集中发现的可解释特征。补充材料中包括了有ABCD方法生成的13个报告全集。 好的统计模型需要的不仅仅是解释力，也包括准确的预测能力。我们将ABCD与现有的建模技术在推断的预测性能上进行了比较，达到了现在的最新水平。在本文的备忘中，我们详述了ABCD的各个部分。 ? 2 这种回归模型的语言 ? 通常，回归问题就是学习一个f函数，由输入空间X映射到输出空间Y，我们想要一个有表现力的语言，既能表示f函数的简要参数化形式，比如线性，多项式。也能表示为以特征形式出现的非参函数，例如平滑，周期等。幸运的是，高斯过程提供了非常通用而易于解析处理的方法来提取这些简单和复杂的函数形式。 ? 高斯过程可以视为在函数集上的分布，例如函数表达式的任何有限子集，（f(x1)...f(xn)）;这一分布的联合高斯分布（如 william 2006的论述）。一个高斯过程由其平均函数 u(x)=E(F(X))和核函数（或者协方差函数）k(x,x)=cov(f(x),f(x))完全确定 。通常的情况是假设零均值，因为一个未知平均函数可以被相等的表示为一个新核函数的零均值的高斯过程。核的结构捕获了未知函数f的高层属性，在顺序上这决定了模型怎样产生出新的数据。因此我们可以通过指定一个核函数的语言来定义回归模型的语言。 这一语言的要素是一组捕获了不同函数属性的基核函数 base kernel,还有一组合成规则组合不同核函数生成其他合法的核函数。我们的基核函数包括了白噪音WN,常量C，线性LIN，指数平方SE还有周期PER，在各自的定义中表示了非相关性噪音，常量函数，线性函数，平平滑函数，和周期函数。组合规则有加法和乘法： K1+k2=k1(x,x)+k2(x,x) K1xk2=k1(X,X) * K2(X,X) ? 组合核函数使用这些操作组合的核函数能产生更丰富的结构例如近似周期（SE*PER），或者线性趋势的光滑函数（SE+LIN) 这些核函数的组合框架在DUCENAUD 2013的论述中有详细描述。我们扩展且适应了该框架。特别是，我们发现组合变更点到该语言中对于时序数据的理想化模型而言是很必要的。变更点可以通过双曲函数的加法和乘法来定义如下： CP（k1,k2)=k1 * +k2 * 这里 =(x)(x) ,=（1-(x))(1-(x)) 变更窗口CW 也可以被类似的定义，以两个双曲函数替换（x)即可。 我们也扩展并重参数化了基核函数集，这样能更有效的自动描述并扩展语言能包含的通用回归模型的数目。表一列举了采用该语言能表述的通用模型的数量 ? 回归模型 核函数 高斯平滑 SE +WN 线性回归 C+lin +wn 多核函数学习 ∑SE+WN 趋势，循环周期，不规则 ∑SE+|∑PER+WN 傅里叶分解 C+∑cos+WN 稀疏谱高斯过程 ∑cos+WN 谱混合 ∑SE *COS +WN 变更点 CP(SE,SE)+WN 异方差Heteroscedasticity SE +LIN*WN ? 3 寻找模型和评估模型 ? 如DUVENAUD论述过得，我们使用贪婪搜寻探索回归模型空间。使用了一样的搜寻操作，但是包括了额外的操作来包含变更点，完整的方法列表间附录材料。 当每一个模型通过共轭梯度下降法得到其核参数后，我们使用贝叶斯信息准则来评估每个优化模型 M： BIC(M)=-2logp(D|M)+plogn 这里p是核参数的个数，log p(D|M)是数据D的边缘似然度，n是数据点的数量。BIC在模型拟合度和复杂度之间进行权衡，如大家熟知的贝叶斯奥卡姆剃刀原则 （mackay 2003) ? 4 回归模型的自动描述 ? 概述：本节我们描述ABCD怎么对搜索过程发现的模型生成自然语言描述。我们这一高斯过程模型语言的两个主要特性能自动进行这一描述过程。 第一，复杂核函数表达可以被简化成计算结果的和。核函数的和对应于函数和，所以每一个计算结果能被分别描述。第二，计算结果中的每一个核函数保持一致的影响了最终的核函数，所以我们可以选择一个核函数描述为名词，所有其他的描述为形容词。 ? 计算结果和的常规形式：我们将每一个核函数表