python学习汇报-机器学习第2章.pptVIP

手写体识别算法--学习网址： /chenbjin/p/3869745.html /blog/u012162613/u/1047640/blog/304278 * * * * * * * * * Python学习汇报 汇报人：李青 汇报日期：2015.12.16 目录 1.Python集成环境 Pycharm下载安装测试 2.手写体识别 程序解析；测试结果；算法优化 3.k-近邻算法(电影分类)--有监督学习 算法流程；应用分析 4.K-均值聚类(顾客细分)--无监督学习 算法流程；应用分析 1.Python集成环境--Pycharm5.0.1 官网下载：/pycharm/download/ IDE-界面美化测试 1.Python集成环境--Pycharm5.0.1 KNN算法应用步骤： 1.数据准备：数字图像文本向量化。 这里将32x32的二进制图像文本矩阵转换成1x1024的向量。循环读出文件的前32行，存储在向量中。 KNN算法应用步骤： 2.构建训练数据集：训练数据集→m*1024的向量（trainingMat） 利用目录trainingDigits中的文本数据构建训练集向量，以及对应的分类向量。 zeros就是用来表示线性代数的0矩阵。比如：zeros（3,3） 表示3行3列0矩阵。 hwLabels = [] #handwriting分类标签。 listdir(str)可以读取目录str下的所有文件名，返回一个字符串列表。 m训练集的总数。 for循环给训练集添加标签。append函数是向string 的后面追加字符或字符串。 trainingMat[i,:] [i,:] 是数组切片，指的是在数组从 i 到结尾的这一段。 classnumCut见下页 KNN算法应用步骤： 3. 测试集数据测试：通过测试testDigits目录下的样本，计算算法的准确率。 测试集是由946个txt组成的，这里的handwritingTest()是每次读取一个测试样本，运行knn函数分类。 classify()为分类主体函数，计算欧式距离，并最终返回测试图片类别： classify(inX, dataSet, labels, k) inX是所要测试的向量 dataSet是训练样本集，一行对应一个样本。 labels是dataSet对应的标签向量。 k是所选的最近邻数目。 训练所用的每个字符是1024个byte，有2000个训练样本，算法需要为每个测试向量计算约2000次欧氏距离，每个距离计算包括1024个维度浮点运算，全部样本要执行900多次，可见算法实际耗时长； 另外，knn算法必须保存全部数据集，每次需为测试向量准备2MB的存储空间（2个1024x1024矩阵的空间）。 计算量大，耗废内存——执行效率并不高。 所以如何优化算法，减少存储空间和计算时间的开销。 3.k-近邻算法 实质：k-近邻算法，采用测量不同特征值之间的距离方法来进行分类。 工作原理： 图：样本数据集合（训练样本集） 标签1 ? 标签2 标签1 标签2 图：kNN算法流程图 3.k-近邻算法电影分类 应用： 3.k-近邻算法电影分类 4.用K-均值聚类来探索顾客细分--算法流程 Kmeans 聚类原理：K-means 算法是最为经典的基于划分的聚类方法，是十大经典ML算法之一。 K-means基本思想：以空间中k个点为中心进行聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。 4.用K-均值聚类来探索顾客细分--算法流程 假设要把样本集分为k个类别，算法描述如下： (1)从N个点随机选取K个点作为质心； (2)对剩余的每个点测量其到每个质心的距离，并把它归到最近的质心的类； (3)重新计算已经得到的各个类的质心； (4)迭代2～3步直至新的质心与原质心相等或小于指定阈值，算法结束。 算法的最大优势：简洁快速。 算法的关键：初始中心的选择距离公式。 4.用K-均值聚类来探索顾客细分--算法流程 k-means算法的优点： （1）k-means算法是解决聚类问题的一种经典算法，算法简单、快速。 （2）对处理大数据集，该算法是相对可伸缩的和高效率的，因为它的复杂度大约是O(nkt)，其中n是所有对象的数目，k是簇的数目,t是迭代的次数。通常kn。这个算法通常局部收敛。 （3）算法尝试找出使平方误差函数值最小的k个划分。当簇是密集的、球状或团状的，且簇与簇之间区别明显时，聚类效果较好。 （1）k-平均方法只有在簇的平均值被定义的情况下才能使用，且对有些分类属性的