半监督层次纠错输出编码算法.pdfVIP

小型微型计算机系统 Journal of Chinese Compu能r Systems 半监督层次纠错输出编码算法 辛轶1 ，2 ，郭躬德1气陈黎飞1 ，2 I (福建师流大学数学与计算机科学学院，福建福州 35仪附7) 2 (福建师范大学网络安全与密码技术重点实验室，褐建福州 35叹107) E-mail: xínyi….47@163.ωm 却10 年 8 月第 8 期 VoL31 NO.8 20lO 摘 要:纠错输出编码是卢种处或多类分集问题的有效方法，但它只能用于有监督的数据，而对大黄永标签样本却元法利用. 提出…种新颖的基于半监督技术的层次编码算法，对传统的纠错输出编码算法(ECC刚进行改造，拓展了编码的概念.在编码 阶段，根据簇特征进行问类组合后再进行层次编码，从而在充分利用了元标签样本的同时，根据数据类分布的特点进行编码以 提高算法精度.最后在化工产品有毒性预测数据集上的实验结果农明了本方法的可行性和有效性. 关键词:纠错输出编码:半监督学习;层次编码;多樊分类 中朋份提号:TP311 立献标识码 :A 文意编号:1αXl-1220(20IO )08-1659-(施 Semi-supervis创 ?ased Hierarchical ECOC Algorithm XIN Yi 1 ,2 , GUO Gong-de 1 ，2. 。但NLi也jl ，2 1 (Schc即/c旷MaJhematics and Co.叩UJer Science f Fujian Nonnal UnJversity f Fuzhou 35α凹 f ChiTIIJ) 2 ( Key Laboraloη ofNe仰。成 Securi.纱 andCηItlography f 刷刷 Normal Universi;秽 ， Futhcu 35棚7 ， Ch?TIIJ) Abstract : Errorωηecting output coding is an effective method used to deal with mul协class olassification problems. However, it can not be used for a large 缸nωnt unlabeled tr划创ng ex制Iples exc叩t labeled ones. A novel hierarchical ECOC 创gor灿mbω创 on semi- supervi岱dωchnique is 严。posed in 也is paper which extends the original idea of the traditional ECOC. To im严。ve the acc町acy of multi-c1assifier class凶cation ， on c创ing phωe ， a hierarchical coding is buí1t for clas始sa位汀 C佣汹汹ing all c1usters with the same class label.叽le experimental results onωmeωxicity datasets of chemical compounds from real-world application show its effective- ness of the 阴。pos时 method. Key words: error correcting output codes; semi制supervised learning; hierarchical c创ing; multi心lass clωsification 1 S I 育 现实世界中存在许多多类分类问题，如文本分类，图像/ 字符识别，疾病诊断等.与二类分类问盹相比，多类分提问题 除了模型建立困难，理论支撑少，还具有训练复杂度大等难 点[1.3] 部分有监督学习的技术对此问周进行了关栓，在处理 多提问题上，加ost 算法、SVM 算法等表现出…定的能力. Dìetterich 和 Bakiril41 提出一种用于处理多类问陋的框 架，称为纠错输出编码算法(ECOC). 它的藏本原理是把多类 分类问题分解成若干个二类分类问题来求解，通过编码的形 式进行区分学习，然后通过解码输出最终预测结果.而后All- wein(31 对其进行了改进，在纠错输出编码的设计中引人不确 定值，在单分类器输出饱含形式中做了拓展性的替换，并引人 蕃于损失的解码过程. Passerini( ， j 根据对费的条件概率的估 计提出了…种新的解码函数.在编码方面，Crammer(6J等人首 先提出了对编码过程的设计改进，且证明了找刑一种