如何利用专家的建议.pdfVIP

6—61 如何利用专家的建议 蔺永华 李晓武 田盛丰 (北方交通大学计算机系100044) 擒翼在控制和机器学习中的一十主要问题就是利用过去的观察对将来的事物进行预羽。现有的解 决方法如神经网络、专家系统等。只能给出近似最优解。在一个领域中。往往有多种方法进行预测。而这 些方法的结论又不完全一致，究竟采用那一个结论就成为问题。本文介绍了一个简单的算法：聚集算 法．来解决这个i可题．并给出理论上的证明。 关键词聚集算法专家最优解 1引 言 在很多问题领域中，都需要通过已有的某些数据对未知的数据进行预测。可是当我们面对各种 方法经过复杂计算之后给出的结论时。难免要陷入困惑之中。任何一种方法都不是最优的。近似的 方向和程度不一样，结论便不会相同。如果我们不知道哪一个方法更优越，或者在不同的时刻不同 的方法相对最优的程度，那么如何得出较好的预测就成为难题。本文介绍一个简单的算法。 我们讨论的是具有n个预测算法的环境．这些算法构成一个算法池，每个算法都或多或少有一 定的错误…。我们的目的就是构造一个学习算法，利用算法池的预测给出自己的预测值。理想情 况下．这个算法的出错值不应该超过池中最好的算法，即使我们不知道在一系列实验中哪一个算法 最优…。 算法的性能通过一系列实验来验证，每次实验都如下进行：相同的实例送给池中所有算法。每 个算法给出一个预测值．这些预测值组合起来成为送给学习算法的实例。学习算法然后给出自己 的预测值。将最优解(这里的最优解是一个虚拟名词，在第3部分有详细说明)反送给池中的算法， 利用最优解和各算法预测值之间的差值进行权值修改。我们对实例和最优解的选取没有概率要 求，算法性能是在最坏情况下考虑的。 我们的目标就是构造一个学习算法，在预测中尽量少出错。 约定：所有专家的预测值均在[0，1]区间内(不同区间可映射到此区问)。聚集算法面对具有n 个算法的算法池．令毋’代表第i个专家的预测。7(j’代表聚集算法的预测，p(’’代表该次预测的最 优解，讲’．……．毋’代表这次顶测之前，每个专家对应的权值．权值非负。 一k臀……………………¨式 我们将原有的方法称为专家，当某一个同题需要求解时，问题的输入送给所有的专家，每一个 专家给出一个预测，聚集算法的输入就是这些预测。 聚集算法：初始设定mP=1，…，础’=t，在第j次预测中。首先取得专家的预测值．据(1．1)式， 算出≯”．预测值即为T‘j】．在得到这次预测的最优解p‘j’之后．将每一个权值0’)乘以Fo 6—62 4i+1’=01)×F 3 这里。a=I妒’一p‘”I，矿≤F≤1一(1一B)×a，o≤p1。(考虑F的下界，规定00=1)‘2 引理1．1：对p≥O并且0≤r≤1，pr≤l+rX(p一1)。 且非负。 2部分定理及证明 任何算法要想在实际中得到应用，就必须有自身的优越性，一般衡量算法的标准有：运算时间、 误差值等。由上面算法的描述可知．聚集算法的运行时间为：专家并行计算时间+权值修改时间 (与专家的个数n成正比)。可见聚集算法的运行时间仅比原有专家的时间增加一点。在实际中，只 要专家的个敦较少，时间上就是有效的。下面的n次实验及定理用来证明聚集算法的误差上界。 错值为／11，m=∑；。lm{”。算法初始权值之和m“。=∑冬i0”。最终权值之和蛳。=∑冬i““I)o 下面的引理是推出聚集算法m值上界的基础。 ‘ 1时，％=0； 否则： ln警≤∑#lIn(1一(1一B)×f一一pi” 引理2．2：如果引理2．1的条件满足，则 In竺鱼 ∑；：1l，虬P(j’I≤—等 1n南 观察引理2．2的结论．不等式左边与聚