6python高级数据处理与可视化.doc

Advanced Data Processing and Visualization of Python 处理 Python高级数据 可视化 Department of Compu Department of University Basic Computer Teaching 用Python玩转数据 聚类分析 Nanjing University 聚类 3 ? 聚类分析(cluster analysis) 以相似性为基础把相似的对象通过静态 分类的方法分成不同的组别或者更多的子集 – 特性 ? 基于相似性 ? 有多个聚类中心 Nanjing University K-MEANS 4 K-均值算法表示以空间中k个点为中心进行聚类，对最靠近他们的对 象归类。 A 任意选择k个 对象作为初始 聚类中心 B 对每个点确定 其聚类中心点 计算每个新聚 类的聚类中心 C 不收敛 收敛 聚类完成 D Nanjing University 一个日常小例子 5 高数 英语 Python 音乐 小明 88 64 96 85 大明 92 99 95 94 小朋 91 87 99 95 大朋 78 99 97 81 小萌 88 78 98 84 大萌 100 95 100 92 Output: [0 1 1 1 0 1] F ile # Filename: kmeansStu.py from pylab import * from scipy.cluster.vq import * list1 = [88,74,96,85] scipy.cluster.vq更新 list2 = [92,99,95,94] 后其参数只支持 list3 = [91,87,99,95] float和double，所 list4 = [78,99,97,81] 以此处的数字都要 list5 = [88,78,98,84] +.0改成浮点数形式 list6 = [100,95,100,92] data = vstack((list1,list2,list3,list4,list5,list6)) centroids,_ = kmeans(data,2) result,_= vq(data,centroids) print result Nanjing University 另一个例子 6 的收盘价涨跌规律对2014年第3季度（7月-9月）构成道 数的30只股票聚类 py listDji = ['AXP','BA','CAT','CSCO',…, 'VZ','WMT','XOM'] quotes = [ [0 for col in range(90)] for row in range(30)] listTemp = [ [0 for col in range(90)] for row in range(30)] for i in range(30): quotes[i] = quotes_historical_yahoo_ochl(listDji[i], start, end) listTemp[i][j] = 1 or -1 # 1 if the latter is larger than former, otherwise the result is -1 data = vstack(listTemp) 同前一页，此处 centroids,_ = kmeans(data,4) 需要改成浮点数 result,_= vq(data,centroids) Nanjing University 另一个例子 7 Output: [0 3 3 2 0 3 0 1 1 3 2 2 0 1 2 0 1 2 2 1 1 3 2 1 3 0 1 2 0 0] 第0类 AXP,CVX ,DIS,JNJ,MCD,UTX ,WMT,XOM 第1类 GE,GS,JPM,MMM,NKE,PFE,TRV,V 第2类 CSCO,IBM,INTC,KO,MRK,MSFT,T,VZ 第3类 BA ,CAT,DD,HD,PG,UNH Nanjing University 8 用Python玩转数据 ATPLOTLIB 绘图基础 Nanjing University Matplotlib绘图 9 ? Matplotlib绘图 最著名Python绘图库， 主要用于二维绘图 – 画图质量高 – 方便快捷的绘图模块 ? 绘图API——pyplot模块 ? 集成库——pylab模块（包含NumPy和 pyplot中的常用函数） Nanjing University 数据源 10 S ource 可口可乐公司近一 年来股票收盘价的 月平均价 >>> closeMeansKO = tempkodf.groupby(