数据挖掘大作业.docxVIP

音乐分类的数据集 在这个题目中，使用了SVM分类器和贝叶斯分类器，并通过sklearn库中的GridSearchCV方法对SVM分类模型的参数进行调优，使最终的正确率提高了5个百分点左右。但仍没有文档中的论文达到的分类正确率高，因为论文中的分类器的设计使专一对音乐音调分类的，其中设计到神经网络和深度学习的一些方法。 而我使用的分类器使对大部分分类问题都有效的方法。下面是对数据集的一个简单的介绍： 数据标签 第3-14列:YES or NO 第15列:共16个取值(D, G#, D#, Bb, Db, F#, Eb, F, C#, Ab, B, C, A#, A, G, E) 第16列:共5个取值(1,2,3,4,5) 第17列:共102个类别(C#M, F_m, D_m, D_d7, G#m, D_m6, C_m6, C_d7, F_M, D_M, BbM7, F#d, C#d, E_d, F_d7, F#d7, G_m, C#d7, AbM, EbM, D#d, Bbm6, G_M7, F#m6, Dbd, B_m6, G#M, D_m7, B_M, F#M7, Bbm, A#d, D#d7, Abd, G_M, F#M4, E_M, A_M4, E_m7, D#M, C_M7, A_m6, Dbm, A#d7, F#M, C#m7, F_m7, C_M, C#M4, F_M6, A_M, G_m6, D_M4, F_M7, B_M7, E_M4, E_m6, A_m4, G#d, C_m7, C_M6, Abm, F_m6, G_m7, F_d, Bbd, G_M4, B_d, A_M7, E_m, C#M7, DbM, EbM7, C#d6, F#m, G_M6, G_d, Dbd7, B_m7, DbM7, D_M6, D#d6, G#d7, A_m7, B_d7, B_M4, A_d, A_m, C_d6, D#m, C_M4, A_M6, BbM, C#m, D_M7, E_M7, F_M4, F#m7, Dbm7, B_m, C_m, Ebd) 这是一个多分类问题 1.1数据读取与训练集和测试集分离 从文件读取数据 def readfile(datapath): #type:datapath:数据集的文件路径 #rtype:X:数据标签,y:所属类别 X,y=[],[] with open(datapath,r) as fp: lines=fp.read() for line in lines.split(\n): if line==: continue Xi=[] line=list(map(lambda x:x.lstrip(),line.split(,))) #Xi+=line[:2] #前两列数据没用去除 Xi+=list(map(lambda x:1 if x==YES else 0,line[2:14])) Xi+=[Bass2id.index(line[14])] Xi+=[int(line[15])] X.append(Xi) y.append(class2id.index(line[-1])) #print(list(map(lambda x:x[2:],X))) return X,y 使用sklearn.model_selection库中的train_test_split函数,将训练集随机分成10份,9份训练,1份测试 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.1, random_state=randint(0,5000)) X是标签列表,y是类别列表 1.2使用svm分类 参数调优 def svm_cross_validation(train_x, train_y): # 寻找模型参数的最优值 model = svm.SVC(kernel=rbf, probability=False) param_grid = {kernel:(linear, rbf),C: [1,10, 5000,7000,10000], gamma: [10,1,0.1, 0.01, 0.001,0.0001]} grid_search = GridSearchCV(model, param_grid, n_jobs = 8, verbos