机器学习中的知识压缩表示及其并行强构造学习算法.pdfVIP

清华大学学报(自然科学版) 57／57 11些堡塞塑童 !!竺!!!!!三!丝!!!!坚!兰!：!!些!兰!垒塞!!!堑墼塑篁!塑=!!!里 Tf孑¨ 机器学习中的知识压缩表示及并行强构造学习算法。 武继刚，刘洁’，陈国良 烟台大学计算机科学与工程系，烟台264005‘ 十中国科学技术大学计算机科学与技术系．台肥230027 摘要 机器学习是近年来人们研究的热点之一．为减少或避免机器的盲目学习．提高 机器学习的效率，本文提出了知识的压缩表示问题，并结台机器的实时处理给出r相应 的on．1ine压缩算法；通过对多种强构造学习算法的研究与分析，对单谓词多层次强构造 学习在SIMD模型上给出丁并行学习算法，这一并打策略对构造学习算法具有一般意义。 关键词 机器学习 知识表示 并行算法强构造学习 多层次学习 中圈法分类号∞!塑至～17332， 机器学习是人工智能中的一个非常重要的研究领域。近年来基于谓词逻辑产生了多种 强构造学习算法CHAMPl41虽可完成多层构造学习对数据的要求过严。文。给出了多层强 构造学习算法。本文在此基础上提出并解决了具有普遍意义的知识压缩表示问题，给出了 构造学习算法的并行策略。 1知识压缩表示及算法 在机器对线性问题自动学习的过程中，存在如F的理论问题。假定Ⅳ。， X2， ，z。∈R“．Hrn．若Ⅳl，Ⅳ2，，^7。线性无关，加入以+l∈R”，如何快速判定 X。，x，， ，x。，以+。的线性无关性?至今没有出现求解这一问题的快速算法，这里给 根据矩阵理论中的结果必存在一组初等变换使得矩阵A(x，Al≤f≤H，1≤，≤m，被转换成 在列变换上保持同步。现对(。A，X’。)。进行行‘变换并将其化成fB，b“)。，其中 b¨=f O,b…^Ⅲ…6Ⅲ月，，若b。+t』+l≠0，则由矩阵理论知XI，X2，，X。， D一0 X¨线性无关，即X…可以用作进一步的学习实例。则上述算法可形式化为： ProcedureReduce(B,九。X)： BEGIN |Fori=ito S do对X进行≈?变接：endfor +国家教委博七终费及中国科学院复杂系统工程学开放研究室资助谋题。 186 清华大学学报(自然科学版) 2．对(B．X)t进行行变换得到(B．b)|： then 3口bmn。I≠0return(X)else重构实锄x； END 2强构造学习算法及其并行化 在机器学习的应用中，知识发现的核心课题是各种有效的学习算法。，它也是机器学 习研究中的挑战性的课题。在机器强构造学习方面，文。给出了单谓词多层次向下构造学 习算法。它是基r单层强构造学习算法，结合分层思想而产生出来的．通过对算法的分析便 知，在基层模板与高层模板的构造过程中均可进行并行实现．假定嵌套模板E．=o，取 观察谓词P的两个正例e…e，具体的并行步骤在SIMD模型t可细化成如下过程． Procedure PML(el，82，EnJ， Begin i forel，e1的候选基层摸棱Do para-do E 9=EpUfDp}： if t E p没有覆盖反铷)^(E，覆盖全豁芷铆) then E Return(E endfor； p)elsep=Ep一{DP}： 2 如r e para-do L、e1拍候选高爱模板sn E p=Epu{sp}： 设sn牛鹃额ig#2SJQ：幽E，结台Oracle溺焉隶Q魏 一射伪要国e；，e3