第7章无监督学习.pptxVIP

第7章 无监督学习;7.1 无监督学习简介;7.1.1 聚类模型 聚类的思想：对于未指定明确的分类的数据，通过其本身呈现出的集群的结构，使用若干个通常是不相交的子集对样本数据进行划分，每个子集称之为“簇”（Cluster）。通过这样的划分，每个簇可能对应着一些潜在的类别。 基于不同的学习策略，人们设计出了多种类型的聚类算法，主要包括原型聚类、密度聚类和层次聚类。 原型聚类算法：假设数据的聚类结构能通过一组原型进行刻画，然后对原型进行不断的迭代更新而获取到数据的聚集、分类。主要的原型聚类算法包括了k均值算法（k-means）、学习向量量化（LVQ）以及高斯混合聚类。 密度聚类算法：假设数据的聚类结构能通过样本分布的紧密程度确定。最著名的的密度聚类算法就是DBSCAN算法。 层次聚类算法：假设数据的聚类结构能够通过数据的分层来进行确定。最著名的层次聚类算法就是AGNES算法。 ;7.1.2 自编码网络模型 自编码网络：利用信息论中对信息进行“编码-解码”原理。通过对信息进行“编码-解码”，可以对原信息进行恢复重建，而且编码后的信息虽然在形式上与原信息不同，但有效地保留了原信息的内容。 在自编码网络模型中，一般都通过构建多层神经网络来实现。将原信息作为神经网络模型的输入，通过神经网络中间层的处理对原信息进行“编码-解码”过程，形成神经网络的输出。 ;7.2 K均值聚类;7.2.2 K均值实践 使用K均值算法来对MNIST的训练集中图片进行类型标注，最后与训练集中的正确标签进行对比。 1.加载数据 加载数据时，我们在无监督学习中，进行训练的样本仅仅是MNIST训练集中的图片数据，而不使用MINST训练集中的标识数据。 mnist = input_data.read_data_sets(‘data/’, one_hot=True) X=mnist.train.images ;7.2.2 K均值实践 2.实现K均值算法 K均值算法是一个循环迭代的过程，重点注意的是明确K值、初始质心、计算距离、更新质心： K值：最终样本数据的分类数量。MNIST数据的分类值为10。 初始质心：在样本数据的边界内通过随机选取： start_pos = tf.Variable(X[np.random.randint(X.shape[0], size=k),:], dtype=tf.float32) centroids = tf.Variable(start_pos.initialized_value(), S, dtype=tf.float32) 簇分配：对于每个点计算该点到所有簇心的距离，然后使用tf.argmin()方法获取距离最小的簇心作为该点所有区域的簇心，划分到该簇。 更新质心：完成簇的划分后，对于该簇能所有的样本数据使用方法求和、求平均值，获得簇的新质心。 tf.unsorted_segment_sum();3.数据训练 使用参数的数据进行训练，并输入其结果 4.评估模型 使用K均值训练后，样本数据被划分到了10个簇中。对每一个簇内数据，我们获取其对应的正确标记，统计每一个簇内数据正确标识前三的情况。 ;7.3 自编码网络;7.3 自编码网络;7.3.2 自编码网络实践 使用自编码神经网络来对MNIST的训练集中图片进行类型标注。 1.加载数据 加载数据时，我们在无监督学习中，进行训练的样本仅仅是MNIST训练集中的图片数据，而不使用MINST训练集中的标识数据。 mnist = input_data.read_data_sets(‘data/’, one_hot=True) X=mnist.train.images ;7.3.2 自编码网络实践 2.自编码网络构建 通过隐藏层1和隐藏层2对输入数据进行编码和解码： #编码函数 def encoder(x): layer1=tf.nn.sigmoid(tf.add(tf.matmul(x,weights[‘encoder_h1’]),biases[‘encoder_b1’])) layer2=tf.nn.sigmoid(tf.add(tf.matmul(layer1,weights[‘encoder_h2’]),biases[‘encoder_b2’])) return layer2 #解码函数 def decoder(x): layer1=tf.nn.sigmoid(tf.add(tf.matmul(x,weights[‘decoder_h1’]),biases[‘decoder_b1’])) layer2=tf.nn.sigmoid(tf.add(tf.matmul(layer1,weights[‘decoder_h2’]),b