AdvancedTopicsonClassification課件.pptVIP

Advanced Topics on Classification Quan Zou (邹 权) (Ph.D. Assistant Professor) Outline Imbalance Binary Classification Multi Class, Multi Label Classification Multi Instance Classification Semi-supervised and Transductive Classification Ensemble Learning Others Imbalance binary classification Application： Credit Card Cheat Spam Identification Finding Oil Bioinformatics Imbalance binary classification Strategy of sampling Over-sampling Under-sampling Random-sampling Special-sampling (SMOTE) Strategy of cost Equal to above One-class leaning Multi Class, Multi Label Multi Class One vs One (time consuming) One vs All (imbalance) Tree Multi Label JRS (/challenge/JRS12Contest) Text, Image Classification KNN meka, mulan mulan Multi Instance Classification Drug Design, Image Understanding Package, Instance DD 多示例学习的提出 Dietterich等人对药物活性预测问题进行了研究。其目的是让学习系统通过对已知适于或不适于制药的分子进行分析，以尽可能正确地预测某种新的分子是否适合制造药物。 格式 格式 格式注意 需要注意的是： 必须要有@attribute molecule_name {1,2,3,4,5,6}作为bag_id,尽管没用，里面的数字序列必须与包的个数相同 @attribute bag relational与@end bag对应一个包的定义，里面是示例属性（如一个分子的可能结构） @attribute class {-1,1}，其中后一个被当成正例处理 @data下面是特征序列，整个一条序列是一个包，每个包有一个序号 多示例学习可以通过把每一个样本看成包，按某种方式把每一个包划分成多个示例，每个包中的示例的数量可以相等也可以不等，再分别对每个示例学习，有效地滤除掉引起噪声的正包中的反例。 多样性密度算法 属性空间中某个点的多样性密度的定义为有多少个不同的正包有距离该点足够近的示例，同时来自反包的示例远离该点的程度的度量。该点附近来自正包的示例越多，来自负包的示例越远，则该点的多样性密度越大，则目标概念是空间中多样性密度最大点。 多样性密度算法 多样性密度算法 Semi-supervised and Transductive Classification Semi-supervised Classification Unlabeled samples are important Co-training and Tri-training Unlabeled samples are important Transductive Classification Co-training CO-training Tri-training Tri-training（Z.H. Zhou M.?Li, TKDE05） Active Learning 采样策略 基于概率 基于投票 基于分布 基于聚类 Ensemble learning: Make weak classifiers to strong one Ensemble learning Bagging Ensemble learning Boosting Boosting illustration Boosting illustration Boosting illustration Boosting illustration Boosting illustration Boosting illustration Ensemble learning Random Forest Ensemble learning for Class Imbalanc