20-出租车数据分析.pptVIP

Spark 大数据技术与应用 第九章 出租车数据分析 课前回顾 数据可视化概述 数据处理 ? （ 1 ）数据的准备 ； ? （ 2 ）创建 DataFrame ； 0 3 使用 kmeans 聚类 kmeans 聚类分析 KMeans 是最常用的聚类算法之一，它将数据点聚类成预定义的簇数。 Spark MLlib 实现了包括一个并行化的 k-means++ ，称为 kmeans||. 。 KMeans 作为一个估计器（ Estimator ）来实现，并生成 KMeansModel 模 型作为基本模型。 输入列 Param name featuresCol Type(s) Vector 输出列 Default features Description Feature vector Param name predictionCol Type(s) Int Default prediction Description Predicted cluster center kmeans 聚类分析 KMeans 方法中包含若干参数，其中 k 为分簇个数， seed 为种子点。 from pyspark.ml.clustering import KMeans kmeans=KMeans(k=3, seed=1) # 聚成 3 类 model=kmeans.fit(taxi_df) # 注意，传入的 DataFrame 是矢量名称为 features 的集 合 centers=model.clusterCenters() # 产生聚类集合 print centers kmeans 聚类分析 聚类的结果是一系列的点集，这些点集也就是出租车聚集的地区，上述代 码将数据聚类成 3 类，如下图 0 4 聚类结果可视化 百度地图可视化 百度地图提供了基于位置的服务，并提供了不同平台下的开放接口，允 许用户自定义地图并根据相应业务逻辑开发自己的地理信息应用，本节就利 用了百度地图的在线服务对聚类结果进行了可视化。 申请地图 key 使用百度地图接口需要百度的一个认证，也就是需要在登录百度地图开 发平台申请 key ，开放平台地址： / ，申请 key 地 址： /apiconsole/key ，申请界面如图所示： 创建应用 在应用列表中点击创建应用，选择服务端应用类型，编辑应用名称、启 用服务、 IP 白名单，最后提交 创建应用 生成 Key ，记下 Key 值，这个实验我们需要借助 JavaScript 接口进行网页的 可视化展示 代码编写 最后需要将已经得到的聚类结果坐标可视化出来，百度开放平台提供了一 些简单的例子，根据这些例子，简单编写一些 HTML 代码就可展示相应点的坐 标。首先给出大体框架： html head … /head body … /body /html head 标签中内容 在 head 标签内添加内容内容如下： meta charset=“utf - 8” titleKmeans 聚类可视化 title !-- 引入了百度地图 api-- script src =“/ api?v=2.0 δ ak= 你申请的 key 值”/script !-- 引入 jquery-- script src =“/ jquery/2.1.1/jqu ery.min.js”/script body 标签中内容 在 body 标签内添加内容内容如下： ! —定义地图显示区域，并设置样式为全屏显示 -- div id=“map_canvas”style=“position:absolute;top:0p x;right:0px;bottom:0px;”/div script $(function(){ … }); /script $(function(){}) 中的内容 在 function 方法中添加内容内容如下： var myP1 = new BMap.Point(104.088050401,30.6461552); // 声明点 对象 var myP2 = new BMap.Point(10330; var myP3 = new BMap.Point(10430; map.clearOverlays(); // 清空地图中的对象 var marker1 = new BMap.Marker(myP1); // 定义点样式，默认为红色 水滴形状 var marker2 = new BMap.Marker(myP2); var marker3 = new BMap.Marker(myP3); map.addOverlay(marker